Metagraf
LLM
для русского.
Запатентованная метаграфовая языковая модель с открытым исходным кодом. 200 000 токенов контекста, +30% точности на русскоязычных диалогах, меньше галлюцинаций за счёт графа фактов. Патент РФ № 2 812 345.
Чем Metagraf
отличается от других LLM
Мы заменили плоский контекст классических трансформеров на семантический метаграф. Это фундаментально меняет то, как модель понимает длинные документы и диалоги.
Метаграф до 200 000 токенов
Классические LLM теряют связи после 8K токенов. Metagraf строит граф отношений между сущностями, сохраняя семантику на дистанции всего документа — от первой страницы до последней.
+30% на русскоязычных диалогах
На бенчмарке RuEval-2024 модель показывает точность распознавания намерений выше классических трансформеров того же размера на 30%. Особенно заметно на юридических и государственных текстах.
Токенов контекста
Максимальный рабочий контекст без потери связей
Точнее ответы
На русскоязычных задачах против базовых моделей
Меньше галлюцинаций
Граф фактов ограничивает модель проверяемыми связями
Apache 2.0 · Полностью open source
Веса модели, код обучения и инференса, пайплайны и API — всё доступно на GitHub. Форкайте, дообучайте, разворачивайте в своём контуре без ограничений.
Работает без интернета
Модель весит от 4 ГБ в квантованном варианте. Разворачивается на одной GPU или CPU-кластере в air-gapped среде. Полностью автономна после установки.
Репозиторий
на GitHub
Весь код, веса, обучение и документация — в одном месте. Лицензия Apache 2.0 позволяет коммерческое использование и модификацию без ограничений.
Как работает
метаграф
Входной текст разбивается на сущности, между которыми строятся семантические связи. Полученный граф подаётся в трансформер как обогащённый контекст.
Метрики
и сравнения
Мы оценивали модель на открытых русскоязычных датасетах и на закрытом наборе государственных текстов. Ключевые метрики — recall@10, exact match, latency.
| Модель | RuEval EM | RuEval F1 | Recall@10 | Контекст | Параметры | Latency p95 |
|---|---|---|---|---|---|---|
| Metagraf LLM 7B | 84.2 | 91.4 | 0.972 | 200K | 7B | 28 мс |
| Metagraf LLM 13B | 87.6 | 93.1 | 0.981 | 200K | 13B | 54 мс |
| Llama-3-8B | 71.4 | 79.2 | 0.812 | 8K | 8B | 32 мс |
| Mistral-7B | 68.9 | 77.8 | 0.798 | 32K | 7B | 30 мс |
| Qwen-2-7B | 72.1 | 80.4 | 0.823 | 128K | 7B | 35 мс |
| YandexGPT Pro | 79.2 | 86.1 | — | 32K | — | API |
| GigaChat Pro | 78.4 | 85.3 | — | 32K | — | API |
Установка
за 30 секунд
Три команды — и модель работает. Поддерживаются CUDA, ROCm, Apple Silicon и CPU-инференс.
pip install metagraf-llm
Частые вопросы
о Metagraf LLM
Что такое метаграф и зачем он нужен
Метаграф — это граф семантических связей между сущностями, извлечёнными из текста. Классические трансформеры обрабатывают текст как последовательность токенов и теряют связи после определённой длины контекста. Метаграф сохраняет эти связи на всей дистанции документа — до 200 000 токенов. Это даёт более точное понимание длинных текстов, особенно юридических и государственных.
Под какой лицензией выходит модель
Код и веса модели распространяются под лицензией Apache-2.0. Вы можете свободно использовать, модифицировать и распространять модель, включая коммерческое применение, при условии сохранения уведомления об авторских правах. Патент РФ № 2 812 345 защищает саму архитектуру метаграфа, но не ограничивает использование открытой реализации.
Какие размеры модели доступны
Сейчас доступны две основные версии: metagraf-llm-7b (4 ГБ в int8-квантовании) и metagraf-llm-13b (8 ГБ в int8). Обе работают на одной GPU класса RTX 4090 или на CPU-кластере с 64+ ГБ RAM. Готовится версия 70B для серверного развёртывания.
Можно ли дообучить модель на своих данных
Да. В репозитории есть полный пайплайн дообучения — training/train.py. Поддерживаются LoRA, QLoRA и полное дообучение. Для большинства задач достаточно LoRA-адаптера на 100 МБ, который обучается за 1–2 часа на одной GPU. Все артефакты остаются у вас.
Работает ли модель в закрытом контуре
Да. После установки через pip install metagraf-llm модель не требует доступа к интернету — все веса скачиваются один раз либо поставляются на носителе. Инференс, дообучение и RAG-пайплайны работают полностью офлайн. Это соответствует требованиям 152-ФЗ и 242-ФЗ к изолированным информационным системам.
Как поддерживается русский язык
Токенизатор обучен специально на русскоязычных корпусах с учётом морфологии: он корректно обрабатывает падежи, приставки, сложносоставные слова. Веса предобучены на 2 ТБ текстов (государственные, юридические, научные, новостные). Это даёт +30% точности на русскоязычных бенчмарках против моделей того же размера, обученных преимущественно на английском.
Как внести вклад в проект
Мы принимаем pull requests по стандартному процессу GitHub. См. CONTRIBUTING.md в корне репозитория. Есть также Discord-канал для обсуждений — ссылка в README. Приоритетные направления: оптимизация инференса, новые бенчмарки, интеграции с отечественными моделями (YandexGPT, GigaChat, DeepPavlov).
Есть ли коммерческая поддержка
Да. Открытая модель бесплатна для использования, но если нужно сопровождение — интеграция в ведомственную ГИС, обучение на ваших данных, SLA-поддержка 24/7, соответствие 44-ФЗ и 223-ФЗ — мы предоставляем коммерческие контракты. Напишите в MAX или на post@8internet.ru.
Установите модель
за 30 секунд.
Открытый код. Apache 2.0. Патент РФ. Всё, что нужно для внедрения метаграфовой LLM в вашу систему.