Kiirstart

Viis sammu

1. Loo kabinetis projekti võti

   Võtmed kuuluvad teie organisatsiooni projektile. Saladust näidatakse üks kord; hoia seda keskkonnamuutujas (näidetes SOVEREIGN_API_KEY), mitte kunagi koodis.

2. Saada chat completion curl-iga

   Üks päring, üks vastus, kasutus vastuse kehas.

3. Kasuta Pythoni klienti

   Paigalda pakett openai ja määra base_url API hostiks. Midagi muud teie koodis ei muutu; pakett räägib ainult vormingut — see kutsub meie hosti, mitte OpenAI oma.

4. Voogedasta

   Määra stream=True ja stream_options={"include_usage": True}; prindi deltad saabumisel ja loe kasutus viimasest tükist.

5. Loe oma kasutust

   GET /v1/usage tagastab teie projekti päringud ja tokenite arvu perioodi kohta — sama register, millest teie arve koostatakse.

OpenAI-ga ühilduv API vorming. OpenAI teenuseid ei kasutata. Näidete API host on platvormi host; kabinet näitab teie pühendatud instantsi hosti.

curl

curl https://sovereignai-api.mediaholding.tech/v1/chat/completions \
  -H "Authorization: Bearer $SOVEREIGN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mh-sovereign",
    "messages": [
      {"role": "system", "content": "You answer briefly and cite the clause you rely on."},
      {"role": "user", "content": "Summarise the termination clause of the attached contract in two sentences."}
    ]
  }'

Python — openai klient base_url-iga

Paketti openai kasutatakse ainult OpenAI-ga ühilduva päringuvormingu kliendina. Kui base_url osutab meie hostile, ei jõua ükski päring OpenAI-ni.

import os
from openai import OpenAI   # the OpenAI-compatible client format; no OpenAI service is called

client = OpenAI(
    base_url="https://sovereignai-api.mediaholding.tech/v1",
    api_key=os.environ["SOVEREIGN_API_KEY"],
)

response = client.chat.completions.create(
    model="mh-sovereign",
    messages=[
        {"role": "system", "content": "You answer briefly and cite the clause you rely on."},
        {"role": "user", "content": "Summarise the termination clause of the attached contract in two sentences."},
    ],
)
print(response.choices[0].message.content)
print(response.usage)          # prompt_tokens, completion_tokens, total_tokens

Voogedastus

stream = client.chat.completions.create(
    model="mh-sovereign",
    messages=[{"role": "user", "content": "List three risks of the clause."}],
    stream=True,
    stream_options={"include_usage": True},   # the final chunk carries usage
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Mõtlemine numbriülesanneteks

# Money, prices and quantities: switch the model's thinking on for the request.
response = client.chat.completions.create(
    model="mh-sovereign-reason",
    messages=[{"role": "user", "content": "Invoice total 1,240.50 EUR net; VAT 24 %. Gross amount?"}],
    extra_body={"chat_template_kwargs": {"enable_thinking": True}},
    max_tokens=1024,
)

`chat_template_kwargs` on llama.cpp käituskeskkonna lüliti mudeli mõtlemisrežiimi jaoks; avaliku API lõplik päringuväli fikseeritakse genereeritud spetsifikatsioonis.

Mudeli valimine

mh-sovereign on vaikimisi alias ja lahendub 9B mudeliks (mh-sovereign-reason). Kasuta mh-sovereign-small kiireks klassifitseerimiseks ja eraldamiseks, mh-sovereign-lingua mitmekeelsete mustandite jaoks. Kataloog sisaldab iga mudeli mõõdetud numbreid ja teadaolevaid piiranguid.

Täielik kataloog

Mida API tagab

Olekusildid — MÕÕDETUD — on olemas ja mõõdeti nimetatud kuupäeval nimetatud meetodiga. EHITATUD — on olemas ja töötab, koormuse all veel mõõtmata. PLAANITUD — kavandatud, veel ehitamata. Sildita rida ei ole selle platvormi väide.

Vead

Iga viga on üks JSON-kuju koos HTTP-olekuga, mis nimetab selle klassi. Sõnum ei sisalda kunagi URL-e, tokeneid, teid ega ülesvoolu erandite teksti.

Veavastus koos päistega

HTTP/1.1 429 Too Many Requests
Content-Type: application/json
X-Request-Id: 5b8e2b2e-4a2f-4b7c-9d2e-1f3a4b5c6d7e
Retry-After: 12

{
  "error": {
    "type": "rate_limit_error",
    "code": "requests_per_minute",
    "message": "Too many requests for this project. Retry after the number of seconds in Retry-After.",
    "request_id": "5b8e2b2e-4a2f-4b7c-9d2e-1f3a4b5c6d7e"
  }
}

Ava API viide