Kontrolní seznam pro produkční nasazení Dolphin ai

1. Ověřte kompatibilitu s koncovým bodem kompatibilním s OpenAI

Začněte ověřením, zda struktura koncového bodu odpovídá standardnímu formátu chat-completions OpenAI. Naše API se přísně řídí tímto schématem, takže můžete používat stávající SDK bez psaní vlastních obalů. Základní URL je HTTPS://api.dolphinmodelos.com/v1 a do každého požadavku musíte nastavit id modelu na „uncensored“. To zajistí, že oslovíte vyhrazený engine pro inferenci bez omezení, nikoli agregátor se směrováním.

• Použijte oficiální SDK pro Python nebo Node.js od OpenAI.
• Přepište základní URL tak, aby ukazovala na náš endpoint.
• Předávejte svůj klíč API v hlavičce Authorization.

Tento přístup eliminuje potřebu logiky specifické pro dodavatele. Připojujete se přímo k velkému jazykovému modelu uncensored. Odpověď bude dodržovat standardní strukturu JSON. Žádná skrytá logika směrování ani proprietární pole nerozbíjí váš parser.

Ověřte základní URL před škálováním. Změna jednoho znaku může rozbít vaši integraci.

Tato kompatibilita znamená, že můžete později případně vyměnit jiné modely, ale nyní získáváte čistou inferenci bez omezení. Endpoint je navržen pro vývojáře, kteří chtějí předvídatelné odpovědi v souladu se schématem. Neposkytuje vložení (embeddings) ani generování obrázků, takže udržujte svůj payload zaměřený na text.

Zkontrolujte koncový bod GET /v1/models, abyste potvrdili, že ID modelu je uvedeno jako "uncensored". Toto je váš hlavní kotvící bod pro všechny následné volání.

2. Implementujte robustní zpracování chyb streamování

Chyby streamu jsou nejčastějším bodem selhání při integraci LLM ve výrobě. Musíte pečlivě zpracovat stream událostí Server-Sent Events (SSE). Poslední část obsahuje údaje o využití tokenů, ale chyby se mohou objevit i v předchozích částech.

• Poslouchejte typ události "error".
• Parsovejte konečnou část pro statistiky využití.
• Zvládněte časové limity sítě elegantně.

Nezakládejte si, že stream bude vždy úspěšně dokončen. Chyba 500 může přerušit stream uprostřed. Váš kód by měl zkusit znovu nebo uživatele upozornit.

Streamování přes SSE umožňuje nižší latenci, ale vyžaduje robustní zpracování chyb. Pokud se připojení přeruší, přijdete o částečnou odpověď. Před opětovným připojením uložte poslední známý stav. To je zásadní pro modely bez cenzury, které mohou generovat delší nebo rozmanitější výstupy.

Nikdy ignorujte poslední chunk. Obsahuje počítatelný počet tokenů.

Implementujte časový limit 30 sekund pro každou část. Pokud část trvá déle, předpokládejte, že spojení je mrtvé. Tím předejdete visení vaší aplikace donekonečna. API nezaručuje konkrétní latenci, proto vytvořte odolnost.

Použijte oficiální SDK, které většinu toho řeší automaticky. Pokud ale píšete hrubé HTTP volání, parsovejte formát SSE ručně. Hledejte předponu "data:" a parsovejte JSON.

3. Správa kontextového okna a limitů tokenů

Okno kontextu je omezeno na 100 000 tokenů pro prompt i dokončení dohromady. Toto je tvrdý limit pro model uncensored. Pokud váš vstup tento limit překročí, API vrátí chybu.

• Vypočítejte počty tokenů před odesláním.
• Sledujte délku podnětu pečlivě.
• Nastavte limit max_tokens pro výstup.

Maximální výstup na požadavek je 16 000 tokenů. Pokud nezadáte max_tokens, výchozí hodnota je 2 048 tokenů. Toto je bezpečná výchozí hodnota pro většinu případů použití.

Pro dlouhý obsah však musíte toto omezení zvýšit. Mějte na paměti, že delší výstupy spotřebovávají více kreditů. Cena je 0,15 $ za 1M vstupních tokenů a 0,50 $ za 1M výstupních tokenů. Toto cenové modelování je transparentní a předvídatelné.

Vypočítejte využití tokenů před odesláním velkých promptů. Prompt o 50k tocnech ponechá pouze 50k pro výstup.

Tato rovnováha je klíčová pro udržení kvality služeb. Pokud potřebujete více kontextu, zvažte rozdělení vstupu na části. Nespolehejte se na automatické ořezání API. Pokud limit překročíte, vrátí chybu.

Tento limit se vztahuje na celkový počet tokenů, ne jen na znaky. Použijte knihovnu pro tokenizaci pro získání přesného počtu. To zajistí, že zůstanete v rámci rozpočtu a výkonových mezí.

4. Konfigurace volání funkcí pro použití nástrojů

Volání funkcí umožňuje vaší aplikaci interagovat s externími API prostřednictvím LLM. API podporuje parametry tools a tool_choice. To je zásadní pro tvorbu agenticích pracovních postupů.

• Definujte svá schémata funkcí v žádosti.
• Nastavte tool_choice na "auto" nebo "required".
• Parsovejte argumenty volání funkce pečlivě.

Neomezený model je vyladěn tak, aby přesně následoval pokyny. To znamená, že zřídka odmítne platný volání nástroje. Musíte však ověřit výstup. Model může generovat mírně nesprávný JSON.

Vždy validujte argumenty funkce před jejich provedením. To zabraňuje chybám ve vašich downstream službách. API vrací volání funkce ve standardním formátu OpenAI. Můžete to parsovat pomocí oficiálních SDK.

Otestujte volání funkcí s hraničními případy. Model může vymýšlet argumenty, pokud není omezen.

Toto je vlastnost modelů bez cenzury. Jsou flexibilnější, ale vyžadují více validace. Nastavte teplotu na nižší hodnotu pro konzistentní používání nástrojů. To snižuje pravděpodobnost halucinovaných argumentů.

Použijte režim JSON pro ještě přísnější omezení výstupu. To zajišťuje, že model vrátí pouze platný JSON. Je to výkonná kombinace pro spolehlivou automatizaci.

5. Ověření omezení režimu JSON

Režim JSON zajišťuje, že model vrací platný objekt JSON. To je kritické pro parsování odpovědi ve vašem kódu. Nastavte parametr response_format na {"type": "json_object"}.

• Povolte režim JSON pro strukturovaná data.
• Ověřte výstup před parsováním.
• Zvládněte chyby parsování elegantně.

Neomezený model tento omezující faktor dobře respektuje. Nepřidává markdown ani další text mimo JSON. To činí parsování spolehlivým a rychlým.

Nicméně režim JSON může někdy snížit kreativitu modelu. Donutí model zůstat v rámci schématu. Toto je kompromis, který musíte zvážit. Pro přesné extrahování dat je ideální. Pro kreativní psaní může působit omezujícím dojmem.

Vždy validujte JSON před jeho použitím. Jedna syntaxní chyba může rozbít vaši aplikaci.

Použijte v vaší pipeline validátor JSON. Ten zachytí chyby včas. API nezaručuje dokonalý formát JSON, ale je vysoce spolehlivé.

Kombinujte režim JSON s voláním funkcí pro maximální přesnost. To zajišťuje, že model vrátí přesně to, co očekáváte. Je to výkonný nástroj pro tvorbu spolehlivých aplikací AI.

6. Sledování limitů rychlosti a souběžnosti

API vynucuje přísné limity rychlosti pro zajištění férového využívání. Jste omezeni na 300 požadavků za minutu na klíč. Navíc můžete mít 8 souběžných požadavků najednou.

• Sledujte počet požadavků za minutu.
• Omezte souběžné požadavky na 8.
• Zvládněte chyby 429 Too Many Requests.

Pokud překročíte tyto limity, API vrátí chybu 429. Měli byste implementovat exponenciální backoff ve své logice opakování.

To je zásadní pro produkční systémy. Náhlý nárůst provozu může přetížit vaši aplikaci, pokud není řízen. Limit velikosti požadavku 8 MB je také důležitý. Velká tělesa požadavků mohou tento limit rychle dosáhnout.

Implementujte pojistku (circuit breaker) pro chyby limitů rychlosti. Tím se předejde kaskádovým selháním.

To zajišťuje stabilitu vaší aplikace. API neposkytuje povolení pro špičkové zatížení (burst allowances), takže si plánujte provoz příslušně.

Použijte jeden API klíč na účet. Pokud potřebujete více souběžnosti, můžete vygenerovat nový klíč, ale nahrazuje ten starý. Toto je jednoduché, ale účinné omezení. Sledujte své využití prostřednictvím posledního fragmentu streamu. To vám poskytuje zpětnou vazbu v reálném čase o spotřebě tokenů.

7. Zajistěte shodu s politikou obsahu

Uncenzurovaný model neodepírá většinu témat pro dospělé nebo kontroverzních témat. Existuje však jeden pevný limit: sexuální obsah zahrnující nezletilé. Ten je vždy vynucován.

• Hledejte obsah týkající se nezletilých ve svých promptech.
• Očekávejte žádná odmítnutí pro další témata pro dospělé.
• Ověřte výstup pro váš konkrétní případ použití.

To dělá model ideálním pro kreativní psaní a adult obsah. Nemusíte se bát náhlých odmítnutí.

Nicméně „neomezené“ neznamená „nefiltrované“. Model může stále generovat obsah nízké kvality nebo irelevantní. Může být nutné výstup post-processovat.

Definujte vlastní hranice obsahu. API uplatňuje pouze mírné omezení.

To vám dává flexibilitu, ale také odpovědnost. Ověřte výstup pro své publikum. Použijte jednoduchý filtr klíčových slov, pokud je to potřeba.

Model je upraven pro legální použití dospělými. Nezaručuje vhodnost pro děti. Buďte jasní ohledně své cílové skupiny. To vám pomůže vyhnout se neočekávaným stížnostem. API je určeno vývojářům, kteří vědí, co chtějí.

8. Optimalizujte strukturu promptu pro délku

Struktura promptu ovlivňuje jak výkon, tak náklady. Dlouhé prompty spotřebovávají více tokenů a zvyšují latenci. Pokud je to možné, rozdělte své prompty na menší části.

• "Udržujte systémové prompty stručné."
• Používejte příklady s několika ukázkami střídmě.
• Odstraňte zbytečné mezery.

Uncenzurovaný model dobře zvládá dlouhá zadání, ale jste omezeni oknem 100k tokenů. Plánujte svůj rozpočet tokenů pečlivě.

Použijte parametr temperature pro ovládání kreativity. Nižší teplota produkuje determinističtější výstupy. To je užitečné pro volání funkcí a režim JSON.

Otestujte různé struktury promptů. Drobné změny mohou výrazně zlepšit kvalitu výstupu.

Toto je klíčová část inženýrství promptů. Model je flexibilní, ale potřebuje jasné instrukce. Poskytněte kontext a příklady, které model navedou.

Sledujte využití tokenů v každém požadavku. To vám pomáhá identifikovat neefektivní podněty. Optimalizujte pro rychlost i náklady. Ceny API jsou transparentní, takže můžete vypočítat přesné náklady každého podnětu. To vám umožňuje efektivně škálovat.

9. Otestujte s reprezentativními uncensored prompty

Testování je posledním krokem před nasazením. Použijte prompty, které odrážejí vaše skutečné případy použití. Testujte jak standardní, tak hraniční případy.

• Odešlete různé typy promptů.
• Hledejte konzistenci v odpovědích.
• Ověřte zpracování chyb.

Neomezený model by měl zvládnout širokou škálu témat. Otestujte jej s kontroverzními nebo tématy pro dospělé, abyste se ujistili, že nedochází k odmítání.

Otestujte také volání funkcí a režim JSON. Ujistěte se, že výstup je správně strukturovaný a lze jej spolehlivě parsovat. Tento komplexní test zajišťuje hladké nasazení.

Otestujte svými skutečnými daty. Syntetická data nemusí odhalit všechny problémy.

To je nejlepší způsob, jak chytit chyby včas. API je spolehlivé, ale váš kód může mít problémy. Ověřte integraci end-to-end.

Použijte zkušební kredit k důkladnému otestování. Poskytuje vám $0.50 kreditu na 7 dní. To stačí na otestování většiny scénářů. Zaregistrujte se pomocí Google nebo e-mailu a začněte. To usnadňuje ověření vaší integrace před závazkem.