Kataloog
Mudelid
Tegelikult serveeritavad mudelid koos parameetrite, kvantimise, kontekstiakna, mälumahu, litsentsi ja mõõdetud kiirusega. Igal numbril on kuupäev ja meetod.
Kataloog
| Nimi API-s | Artefakt | Parameetrid | Kvantimine | Kontekst | Mälu | Litsents | Mõõdetud kiirus |
|---|---|---|---|---|---|---|---|
mh-sovereign-small | Qwen3.5-4B Q4_K_M (unsloth GGUF) | 4B | Q4_K_M | 16,384 tokenit | 4.5 GB · 2.74 GB fail | Apache-2.0 | 38–40 tok/s GPU · ~15 tok/s CPU 2026-10-12 — single stream, bench2 |
mh-sovereign-reasonvaikimisi — alias mh-sovereign | Qwen3.5-9B UD-Q4_K_XL (unsloth GGUF) | 9B | UD-Q4_K_XL | 32,768 tokenit | 9.0 GB · 5.97 GB fail | Apache-2.0 | 24.6 tok/s GPU · TTFT 0.3–0.9 s · 14/14 ülesandeklassi 2026-10-12 — single stream, thinking off, bench2 |
mh-sovereign-lingua | Gemma-4-12B QAT Q4_K_XL (unsloth GGUF) | 12B | QAT Q4_K_XL | 20,480 tokenit | 9.5 GB · 6.72 GB fail | Apache-2.0 | 17.2 tok/s GPU · 14/14 ülesandeklassi 2026-10-12 — single stream, bench2 |
`mh-sovereign` on vaikimisi alias ja lahendub mudeliks `mh-sovereign-reason`.
Pilvenäitajad on prognoos, kuni need on pilveriistvaral mõõdetud; iga number sellel lehel mõõdeti ühel kohalikul masinal ühe kasutajaga.
Teadaolevad piirangud
Numbrid vajavad mõtlemist
MõõdetudRaha, hindade ja kogustega ülesanded vajavad 9B mudelil sisselülitatud mõtlemist (eelarve 1 024 tokenit); ilma selleta on aritmeetikavead sagedasemad.
Eesti keel
MõõdetudÜkski serveeritav mudel ei kirjuta avaldamiskõlblikku eesti keelt. Mustandid vajavad emakeelset toimetajat — selle saidi eestikeelsed lehed kannavad seda teadet.
Läti keel
MõõdetudKasutatav ainult 9B mudelist ja toimetamisega.
Korraga üks mudel mälus
MõõdetudKorraga on laaditud üks mudel ja see laaditakse maha pärast 120 sekundit jõudeolekut. Päring teisele mudelile maksab ühe laadimise; pühendatud instants hoiab teie mudelid mälus.
Olekusildid — MÕÕDETUD — on olemas ja mõõdeti nimetatud kuupäeval nimetatud meetodiga. EHITATUD — on olemas ja töötab, koormuse all veel mõõtmata. PLAANITUD — kavandatud, veel ehitamata. Sildita rida ei ole selle platvormi väide.
Meetod
Mõõdetud 2026-10-12 masinal NVIDIA GeForce RTX 5070 12 GB · AMD Ryzen 7 7700 · 63 GB RAM · Windows 11 Pro, käituskeskkond llama.cpp b11559, CUDA 13.4 (Windows binaries); one user, GPU shared with media production under a governor (GPU norm 34 %), free heavy.lock windows. Tõendusmaterjali kaustad: media-holding-sovereign-ai/evidence/bench2, media-holding-sovereign-ai/evidence/soak.
Pilvenäitajad on prognoos, kuni pilvesõlm on sama meetodiga mõõdetud. Eeldatakse, et pühendatud instants 24 GB GPU-l hoiab 9B ja 12B mudelit korraga mälus; see eeldus on prognoos, mitte mõõtmine.
Mõõdetud platvormi kaudu
Mõõdetud platvormi kaudu
Mõõdetud2026-10-13 läks üks päris ühe kasutaja päring läbi Sovereign AI Cloudi juhttasandi Sovereign AI-sse (mh-sovereign-reason (Qwen3.5-9B UD-Q4_K_XL), RTX 5070, GPU norm 34 %): genereeriti 37 tokenit kiirusega 25.8 tokenit sekundis; 21-tokeniline viip töödeldi 297 ms jooksul; mudeli laadimine 2.1 s. Tõendusmaterjal: sovereign-ai-cloud/evidence/real_inference_single_user_20261013.json.
Kes mudelid arendas
| Mudel | Arendaja | Roll |
|---|---|---|
| Qwen3.5 (4B, 9B) | Alibaba — Qweni meeskond | Mudeli arendaja |
| Gemma 4 (12B) | Google DeepMind | Mudeli arendaja |
| GGUF quantisations | Unsloth (GGUF kvantimised) | Kvanditud artefaktid |
| llama.cpp | ggml-org (llama.cpp) | Inferentsi käituskeskkond |
EL-i tehisintellekti määruse järgi lasuvad üldotstarbeliste AI-mudelite pakkujate kohustused mudelite arendajatel; Media Holding ei muuda serveeritavate mudelite kaale. Mida see teie kui juurutaja jaoks tähendab, on kirjas AI läbipaistvuse teates.