⌘K · Командная палитра
Open Source · Apache 2.0 · v1.3.0

Metagraf
LLM
для русского.

Запатентованная метаграфовая языковая модель с открытым исходным кодом. 200 000 токенов контекста, +30% точности на русскоязычных диалогах, меньше галлюцинаций за счёт графа фактов. Патент РФ № 2 812 345.

8.4k stars 612 forks 142 watching Apache-2.0 Патент РФ № 2 812 345 PyPI metagraf-llm
METAGRAF LLM · v1.3.0
Патент РФ № 2 812 345
Apache 2.0 · Python 3.10+
MSK · 00:00:00
Преимущества

Чем Metagraf
отличается от других LLM

Мы заменили плоский контекст классических трансформеров на семантический метаграф. Это фундаментально меняет то, как модель понимает длинные документы и диалоги.

Длинный контекст

Метаграф до 200 000 токенов

Классические LLM теряют связи после 8K токенов. Metagraf строит граф отношений между сущностями, сохраняя семантику на дистанции всего документа — от первой страницы до последней.

Точность

+30% на русскоязычных диалогах

На бенчмарке RuEval-2024 модель показывает точность распознавания намерений выше классических трансформеров того же размера на 30%. Особенно заметно на юридических и государственных текстах.

0K

Токенов контекста

Максимальный рабочий контекст без потери связей

+0%

Точнее ответы

На русскоязычных задачах против базовых моделей

0×

Меньше галлюцинаций

Граф фактов ограничивает модель проверяемыми связями

Открытый код

Apache 2.0 · Полностью open source

Веса модели, код обучения и инференса, пайплайны и API — всё доступно на GitHub. Форкайте, дообучайте, разворачивайте в своём контуре без ограничений.

Изолированный контур

Работает без интернета

Модель весит от 4 ГБ в квантованном варианте. Разворачивается на одной GPU или CPU-кластере в air-gapped среде. Полностью автономна после установки.

Открытый исходный код

Репозиторий
на GitHub

Весь код, веса, обучение и документация — в одном месте. Лицензия Apache 2.0 позволяет коммерческое использование и модификацию без ограничений.

8i-ai / metagraf-llm
Public
branch: main 1 248 commits v1.3.0 · 3 days ago Apache-2.0 84 contributors
metagraf-llm / README.md
12.4 KB 284 строки обновлён 3 дня назад
Архитектура

Как работает
метаграф

Входной текст разбивается на сущности, между которыми строятся семантические связи. Полученный граф подаётся в трансформер как обогащённый контекст.

Бенчмарки

Метрики
и сравнения

Мы оценивали модель на открытых русскоязычных датасетах и на закрытом наборе государственных текстов. Ключевые метрики — recall@10, exact match, latency.

Модель RuEval EM RuEval F1 Recall@10 Контекст Параметры Latency p95
Metagraf LLM 7B 84.2 91.4 0.972 200K 7B 28 мс
Metagraf LLM 13B 87.6 93.1 0.981 200K 13B 54 мс
Llama-3-8B 71.4 79.2 0.812 8K 8B 32 мс
Mistral-7B 68.9 77.8 0.798 32K 7B 30 мс
Qwen-2-7B 72.1 80.4 0.823 128K 7B 35 мс
YandexGPT Pro 79.2 86.1 — 32K — API
GigaChat Pro 78.4 85.3 — 32K — API
0+
Commits в репозитории
0
Контрибьюторов
0K
Загрузок PyPI / месяц
0%
Uptime демо-сервера
Быстрый старт

Установка
за 30 секунд

Три команды — и модель работает. Поддерживаются CUDA, ROCm, Apple Silicon и CPU-инференс.

pip install metagraf-llm
quickstart.py
Python 3.10+
FAQ

Частые вопросы
о Metagraf LLM

Что такое метаграф и зачем он нужен

Метаграф — это граф семантических связей между сущностями, извлечёнными из текста. Классические трансформеры обрабатывают текст как последовательность токенов и теряют связи после определённой длины контекста. Метаграф сохраняет эти связи на всей дистанции документа — до 200 000 токенов. Это даёт более точное понимание длинных текстов, особенно юридических и государственных.

Под какой лицензией выходит модель

Код и веса модели распространяются под лицензией Apache-2.0. Вы можете свободно использовать, модифицировать и распространять модель, включая коммерческое применение, при условии сохранения уведомления об авторских правах. Патент РФ № 2 812 345 защищает саму архитектуру метаграфа, но не ограничивает использование открытой реализации.

Какие размеры модели доступны

Сейчас доступны две основные версии: metagraf-llm-7b (4 ГБ в int8-квантовании) и metagraf-llm-13b (8 ГБ в int8). Обе работают на одной GPU класса RTX 4090 или на CPU-кластере с 64+ ГБ RAM. Готовится версия 70B для серверного развёртывания.

Можно ли дообучить модель на своих данных

Да. В репозитории есть полный пайплайн дообучения — training/train.py. Поддерживаются LoRA, QLoRA и полное дообучение. Для большинства задач достаточно LoRA-адаптера на 100 МБ, который обучается за 1–2 часа на одной GPU. Все артефакты остаются у вас.

Работает ли модель в закрытом контуре

Да. После установки через pip install metagraf-llm модель не требует доступа к интернету — все веса скачиваются один раз либо поставляются на носителе. Инференс, дообучение и RAG-пайплайны работают полностью офлайн. Это соответствует требованиям 152-ФЗ и 242-ФЗ к изолированным информационным системам.

Как поддерживается русский язык

Токенизатор обучен специально на русскоязычных корпусах с учётом морфологии: он корректно обрабатывает падежи, приставки, сложносоставные слова. Веса предобучены на 2 ТБ текстов (государственные, юридические, научные, новостные). Это даёт +30% точности на русскоязычных бенчмарках против моделей того же размера, обученных преимущественно на английском.

Как внести вклад в проект

Мы принимаем pull requests по стандартному процессу GitHub. См. CONTRIBUTING.md в корне репозитория. Есть также Discord-канал для обсуждений — ссылка в README. Приоритетные направления: оптимизация инференса, новые бенчмарки, интеграции с отечественными моделями (YandexGPT, GigaChat, DeepPavlov).

Есть ли коммерческая поддержка

Да. Открытая модель бесплатна для использования, но если нужно сопровождение — интеграция в ведомственную ГИС, обучение на ваших данных, SLA-поддержка 24/7, соответствие 44-ФЗ и 223-ФЗ — мы предоставляем коммерческие контракты. Напишите в MAX или на post@8internet.ru.

Готовы начать

Установите модель
за 30 секунд.

Открытый код. Apache 2.0. Патент РФ. Всё, что нужно для внедрения метаграфовой LLM в вашу систему.