Sovereign AI

mh-sovereign-small

Qwen3.5-4B Q4_K_M (unsloth GGUF). Kontekst 16,384 tokenit. Kiire mudel klassifitseerimiseks, andmete eraldamiseks ja lühikesteks vastusteks. Mõõdetud 2026-10-12: 38–40 tokenit sekundis GPU-l.

mh-sovereign-reason

Qwen3.5-9B UD-Q4_K_XL (unsloth GGUF). Kontekst 32,768 tokenit. Vaikimisi mudel (alias mh-sovereign): juhiste järgimine, arutlemine mõtlemiseelarvega, tekstide koostamine. Mõõdetud 2026-10-12: 24.6 tokenit sekundis ühes voos mõtlemine väljas, aeg esimese tokenini 0.3–0.9 s, läbitud 14 ülesandeklassi 14-st.

mh-sovereign-lingua

Gemma-4-12B QAT Q4_K_XL (unsloth GGUF). Kontekst 20,480 tokenit. Mudel mitmekeelseteks mustanditeks peamistes Euroopa keeltes. Mõõdetud 2026-10-12: 17.2 tokenit sekundis, läbitud 14 ülesandeklassi 14-st.

Chat completions

POST /v1/chat/completions OpenAI-ga ühilduvas vormingus. stream, tools ja response_format edastatakse llama.cpp käituskeskkonda muutmata. Kontrollitud kolmetunnise koormustestiga 12.10.2026: 1 617 päringut, null serveriviga.

Voogedastus

Server-Sent Events edastus; stream_options.include_usage korral kannab viimane tükk päringu tokenite arvu.

Mudelite avastamine

GET /v1/models loetleb serveeritavad mudelid ja vaikimisi aliase.

Olek ja mõõdikud

/healthz, /health/full ja Prometheuse /metrics otspunkt lüüsil. Platvormi avalik olekutee on GET /health juhttasandil.

Audit — ainult metaandmed

Üks rida päringu kohta: päringu id, mudel, olek, viipa tokenid, vastuse tokenid, millisekundid. Mitte kunagi viip, mitte kunagi vastus.

Vestlus ja juhiste järgimine

9B ja 12B mudel läbisid 12.10.2026 kõik 14 vastuvõtukomplekti ülesandeklassi: kokkuvõtted, ümberkirjutused, struktureeritud vastused, piirangutega juhised.

Arutlemine mõtlemiseelarvega

9B mudel arutleb enne vastamist, kui päringu jaoks on mõtlemine sisse lülitatud (eelarve 1 024 tokenit). Mõõdetud: raha, hindade ja kogustega ülesanded vajavad seda; ilma selleta on aritmeetikavead sagedasemad.

Mitmekeelne genereerimine

Peamisi Euroopa keeli käsitlevad 9B ja 12B mudel. Mõõdetud piirangud: ükski serveeritav mudel ei kirjuta avaldamiskõlblikku eesti keelt; läti keel on kasutatav ainult 9B mudelist ja toimetamisega.

Struktureeritud väljund (JSON)

response_format väärtusega json_object või json_schema edastatakse käituskeskkonda muutmata. Töötab; skeemile vastavuse määra eraldi ei mõõdetud.

Tööriistade väljakutsumine

tools ja tool_choice edastatakse käituskeskkonda muutmata. Töötab; väljakutsete täpsust eraldi ei mõõdetud.

Embeddingud

Ei serveerita. Tekstiembeddingute mudel on plaanitud teise etappi.

Pildi- ja helisisend

Ei serveerita. Platvorm genereerib tekstist teksti.

Dokumentide koostamine ja kokkuvõtmine EL-is

Lepingud, aruanded, kirjavahetus: kokku võetud, ümber kirjutatud või koostatud ilma, et tekst lahkuks Euroopa Liidust või salvestataks kuhugi.

Toeassistendid teie enda teadmistel

Esimese tasandi assistent, mis vastab viibas edastatud dokumentide põhjal, struktureeritud väljundiga teie piletisüsteemi jaoks.

Klassifitseerimise ja eraldamise torujuhtmed

Suunamine, märgistamine, väljade eraldamine JSON-isse 4B mudeli kiirusel; 9B mudel seal, kus on vaja hinnangut.

Mitmekeelsed mustandid

Mustandid peamistes Euroopa keeltes ühest lähtetekstist; eesti ja läti keel vajavad inimtoimetajat — mõõdetud ja välja öeldud.

Abi koodiga

Selgitused, ülevaatused ja väikesed muudatused koodis, mida te kontrollite, kusjuures päringu sisu ei säilitata kunagi.

Sagedus ja suurus

120 päringut minutis globaalselt, järjekord 16, päringu keha kuni 4 MiB, ajalõpp 600 sekundit.

Üks mudel mälus

Korraga on laaditud üks mudel ja see laaditakse maha pärast 120 sekundit jõudeolekut; mudelite vahel lülitumine maksab ühe laadimise.

Jagatud masin, reguleeritud

GPU-d jagatakse meediatootmisega regulaatori all (GPU norm 34 %); kui meediatöö hoiab lukku, keeldub lüüs ausa «hõivatud» olekuga, selle asemel et vaikselt halveneda.

Limiidid ja eelarved rentniku kohta

Limiidid ja eelarved organisatsiooni ja projekti kohta, mida juhttasand rakendab enne, kui päring jõuab inferentsitasandini.