Sovereign AI

mh-sovereign-small

Qwen3.5-4B Q4_K_M (unsloth GGUF). Контекст 16,384 токенов. Быстрая модель для классификации, извлечения данных и коротких ответов. Измерено 2026-10-12: 38–40 токенов в секунду на GPU.

mh-sovereign-reason

Qwen3.5-9B UD-Q4_K_XL (unsloth GGUF). Контекст 32,768 токенов. Модель по умолчанию (псевдоним mh-sovereign): следование инструкциям, рассуждение с бюджетом на размышление, составление текстов. Измерено 2026-10-12: 24.6 токенов в секунду в одном потоке с выключенным размышлением, время до первого токена 0.3–0.9 s, пройдено 14 из 14 классов задач.

mh-sovereign-lingua

Gemma-4-12B QAT Q4_K_XL (unsloth GGUF). Контекст 20,480 токенов. Модель для многоязычных черновиков на основных европейских языках. Измерено 2026-10-12: 17.2 токенов в секунду, пройдено 14 из 14 классов задач.

Chat completions

POST /v1/chat/completions в формате, совместимом с OpenAI. stream, tools и response_format передаются в среду выполнения llama.cpp без изменений. Проверено трёхчасовым прогоном 12.10.2026: 1 617 запросов, ноль ошибок сервера.

Потоковая передача

Ретрансляция Server-Sent Events; при stream_options.include_usage последний фрагмент несёт число токенов запроса.

Обнаружение моделей

GET /v1/models возвращает обслуживаемые модели и псевдоним по умолчанию.

Состояние и метрики

/healthz, /health/full и эндпоинт Prometheus /metrics на шлюзе. Публичный маршрут состояния платформы — GET /health на плоскости управления.

Аудит — только метаданные

Одна строка на запрос: идентификатор запроса, модель, статус, токены промпта, токены ответа, миллисекунды. Никогда — промпт, никогда — ответ.

Диалог и следование инструкциям

Модели 9B и 12B прошли все 14 классов задач приёмочного набора 12.10.2026: краткие изложения, переписывание, структурированные ответы, инструкции с ограничениями.

Рассуждение с бюджетом на размышление

Модель 9B рассуждает перед ответом, когда для запроса включено размышление (бюджет 1 024 токена). Измерено: задачи с деньгами, ценами и количествами требуют его; без него арифметические ошибки встречаются чаще.

Многоязычная генерация

Основные европейские языки обрабатывают модели 9B и 12B. Измеренные ограничения: ни одна обслуживаемая модель не пишет пригодный к публикации эстонский текст; латышский пригоден только от модели 9B и с редактурой.

Структурированный вывод (JSON)

response_format со значением json_object или json_schema передаётся в среду выполнения без изменений. Работает; доля соответствия схеме отдельно не измерялась.

Вызов инструментов

tools и tool_choice передаются в среду выполнения без изменений. Работает; точность вызовов отдельно не измерялась.

Эмбеддинги

Не обслуживаются. Модель текстовых эмбеддингов запланирована на второй этап.

Ввод изображений и аудио

Не обслуживается. Платформа генерирует текст из текста.

Составление и изложение документов внутри ЕС

Договоры, отчёты, переписка: изложение, переписывание или составление без того, чтобы текст покидал Европейский союз или где-либо сохранялся.

Ассистенты поддержки на ваших знаниях

Ассистент первой линии, который отвечает по документам, переданным в промпте, со структурированным выводом для вашей системы тикетов.

Конвейеры классификации и извлечения

Маршрутизация, тегирование, извлечение полей в JSON на скорости модели 4B; модель 9B — там, где нужно суждение.

Многоязычные черновики

Черновики на основных европейских языках из одного исходного текста; эстонский и латышский требуют редактора-человека — измерено и заявлено.

Помощь с кодом

Объяснения, ревью и небольшие изменения в коде, который вы контролируете, при этом содержимое запроса никогда не сохраняется.

Частота и размер

120 запросов в минуту глобально, очередь 16, тело запроса до 4 MiB, тайм-аут 600 секунд.

Одна модель в памяти

Одновременно загружена одна модель; она выгружается через 120 секунд простоя; переключение между моделями стоит одной загрузки.

Общая машина под регулятором

GPU делится с медиапроизводством под регулятором (норма GPU 34 %); пока медиазадача держит блокировку, шлюз честно отказывает состоянием «занято», а не деградирует молча.

Лимиты и бюджеты на арендатора

Лимиты и бюджеты на организацию и проект, применяемые плоскостью управления до того, как запрос достигнет плоскости инференса.