Dolphin ai Production Checklist

1. Verifiera OpenAI-kompatibel endpoint-kompatibilitet

Bekräfta först att ändpunktsstrukturen matchar standardformatet för OpenAI chat-completions. Vårt API följer strikt denna schema, så du kan använda befintliga SDK:er utan att skriva anpassade omslag. Bas-URL:en är HTTPS://api.dolphinmodelos.com/v1, och du måste ange modell-ID:t till "uncensored" i varje begäran. Detta säkerställer att du träffar den dedikerade uncensored-inferensmotorn snarare än en omkopplad aggregator.

• Använd det officiella OpenAI Python- eller Node.js-SDK:en.
• Överskriv bas-URL:en för att peka mot vår slutpunkt.
• Skicka ditt API-nyckel i Authorization-huvudet.

Detta tillvägagångssätt eliminerar behovet av leverantörspecifik logik. Du ansluter direkt till en censorsfri stor språkmodell. Svaret kommer att följa den standardiserade JSON-strukturen. Inga dolda routinelogiker eller proprietära fält kommer att bryta din parser.

Verifiera bas-URL:en innan du skalar. En enda teckenändring kan bryta din integration.

Denna kompatibilitet innebär att du kan byta in andra modeller senare om det behövs, men för tillfället får du ren, uncensored-inferens. Slutpunkten är designad för utvecklare som vill ha förutsägbara, schema-kompatibla svar. Den erbjuder inte embeddingar eller bildgenerering, så håll ditt payload fokuserat på text.

Kontrollera GET /v1/models-slutpunkten för att bekräfta att modell-ID:t listas som "uncensored". Detta är din primära ankare för alla efterföljande anrop.

2. Implementera robust felhantering för strömning

Strömfel är den vanligaste punkten för fel i produktionens LLM-integrationer. Du måste hantera Server-Sent Events (SSE)-strömmen noggrant. Den sista kuben innehåller tokenanvändningsdata, men fel kan också förekomma i tidigare kuber.

• Lyssna på "error"-händelsetypen.
• Analysera den sista biten för användningsstatistik.
• Hantera nätverkstimeouts smidigt.

Anta inte att strömmen alltid kommer att slutföras framgångsrikt. Ett 500-fel kan avbryta strömmen mitt i. Din kod bör försöka igen eller varna användaren därefter.

Streaming via SSE möjliggör lägre latens, men kräver robust felhantering. Om anslutningen bryts förlorar du det delvisa svaret. Spara det senast kända tillståndet innan du återansluter. Detta är avgörande för uncensored-modeller, som kan generera längre eller mer varierade utdata.

Ignorera aldrig den sista biten. Den innehåller det fakturerade tokenantalet.

Implementera en timeout på 30 sekunder för varje bit. Om en bit tar längre tid, anta att anslutningen är död. Detta förhindrar att din applikation hänger sig oändligt. API:t garanterar inte en specifik latens, så bygg in motståndskraft.

Använd de officiella SDK:t som hanterar det mesta automatiskt. Men om du skriver råa HTTP-anrop, analysera SSE-formatet manuellt. Leta efter prefixet "data:" och analysera JSON:t.

3. Hantera kontextfönster och tokenbegränsningar

Kontextfönstret är begränsat till 100 000 tokens för både prompt och svar tillsammans. Detta är en hård gräns för uncensored-modellen. Om din inmatning överskrider detta kommer API:et att returnera ett fel.

• Beräkna tokenantal innan du skickar.
• Övervaka promptlängden noggrant.
• Ställ in en max_tokens-gräns för utmatning.

Det maximala utdata per begäran är 16 000 token. Om du inte anger max_tokens är standardvärdet 2 048 token. Detta är en säker standard för de flesta användningsområden.

Men för långt innehåll måste du öka denna gräns. Var medveten om att längre utdata förbrukar mer kredit. Priset är $0.15 per 1M inmatade tokens och $0.50 per 1M utmatade tokens. Denna prissättning är transparent och förutsägbar.

Beräkna din tokenanvändning innan du skickar stora prompts. En prompt på 50k tokens lämnar bara 50k för output.

Detta saldo är avgörande för att upprätthålla servicenivån. Om du behöver mer kontext, överväg att dela upp ditt indata. Lita inte på att API:et klipper automatiskt. Det kommer att ge ett fel om du överskrider gränsen.

Denna gräns gäller för totala tokenantalet, inte bara tecknen. Använd ett tokenizer-bibliotek för att få en exakt räknning. Detta säkerställer att du håller dig inom budget och prestandagränser.

4. Konfigurera Function Calling för verktygsanvändning

Function calling låter din applikation interagera med externa API:n via LLM:n. API:t stödjer verktyg och tool_choice-parametrar. Detta är avgörande för att bygga agentic arbetsflöden.

• Definiera dina funktionsscheman i begäran.
• Ställ in tool_choice till "auto" eller "required".
• Analysera funktionskalleargumenten noggrant.

Den icke-censurerade modellen är justerad för att följa instruktioner exakt. Det innebär att den sällan vägrar ett giltigt verktygsanrop. Du måste dock validera utdata. Modellen kan generera något felaktig JSON.

Validera alltid funktionsargumenten innan du exekverar dem. Detta förhindrar fel i dina nedströms-tjänster. API:t returnerar funktionskallet i standard OpenAI-formatet. Du kan parssa detta med de officiella SDK:erna.

Testa funktionsanrop med kanfall. Modellen kan hitta på argument om den inte begränsas.

Detta är en funktion hos obegränsade modeller. De är mer flexibla men kräver mer validering. Ställ in temperaturen till ett lägre värde för konsekvent funktionsanvändning. Detta minskar sannolikheten för hallucinerade argument.

Använd JSON-läget för ännu striktare outputbegränsningar. Detta säkerställer att modellen endast returnerar giltig JSON. Det är en kraftfull kombination för pålitlig automatisering.

5. Validera JSON-lägets begränsningar

JSON-läget säkerställer att modellen returnerar ett giltigt JSON-objekt. Detta är kritiskt för att tolka svaret i din kod. Ställ in response_format-parametern till {"type": "json_object"}.

• Aktivera JSON-läge för strukturerad data.
• Validera utmatningen innan pisering.
• Hantera parsningsfel smidigt.

Den icke-censurerade modellen respekterar denna begränsning väl. Den lägger inte till markdown eller extra text utanför JSON. Detta gör parsingen tillförlitlig och snabb.

Dock kan JSON-läget ibland minska modellens kreativitet. Det tvingar modellen att hålla sig inom schemat. Detta är en kompromiss du måste överväga. För strikt dataextraktion är det idealiskt. För kreativt skrivande kan det kännas begränsande.

Validera JSON:n innan du använder den. Ett enda syntaxfel kan bryta din app.

Använd en JSON-validerare i ditt flöde. Detta fångar fel tidigt. API:et garanterar inte perfekt JSON, men det är mycket pålitligt.

Kombinera JSON-läge med funktionsanrop för maximal precision. Detta säkerställer att modellen returnerar exakt det du förväntar dig. Det är ett kraftfullt verktyg för att bygga tillförlitliga AI-applikationer.

6. Övervaka hastighetsbegränsningar och samtidighet

API:et tillåter strikta rate limits för att säkerställa rättvis användning. Du är begränsad till 300 anrop per minut per nyckel. Dessutom kan du ha 8 parallella anrop samtidigt.

• Övervaka ditt begäranderäknings per minut.
• Begränsa samtidiga begäranden till 8.
• Hantera 429 Too Many Requests-fel.

Om du överskrider dessa gränser returnerar API:t ett 429-fel. Du bör implementera exponentiell backoff i din återanvändningslogik.

Detta är avgörande för produktionssystem. En plötslig trafiktopp kan överbelasta din applikation om den inte hanteras. Gränsen på 8 MB för request body är också viktig. Stora payload kan nå denna gräns snabbt.

Implementera en kretsbrytare för rate limit-fel. Detta förhindrar kedjereaktioner av fel.

Detta säkerställer att din applikation förblir stabil. API:t erbjuder inga burst-tillstånd, så planera din trafik därefter.

Använd en enda API-nyckel per konto. Om du behöver mer koncurrentskap kan du generera en ny nyckel, men den ersätter den gamla. Detta är en enkel men effektiv begränsning. Övervaka din användning via den sista chunken i strömmen. Detta ger dig realtidsåterkoppling om din tokenförbrukning.

7. Säkerställ överensstämmelse med innehållspolicyer

Den icke-censurerade modellen vägrar inte de flesta vuxna eller kontroversiella ämnen. Det finns dock en hård gräns: sexuellt innehåll som involverar minderåriga. Detta tillämpas alltid.

• Kontrollera för minor-relaterat innehåll i dina prompts.
• Förvänta dig inga avslag för andra vuxna ämnen.
• Validera utmatning för ditt specifika användningsfall.

Detta gör modellen idealisk för kreativt skrivande och vuxet innehåll. Du behöver inte oroa dig för plötsliga avslag.

Dock betyder "obegränsad" inte "ofiltrerad". Modellen kan fortfarande generera innehåll av låg kvalitet eller irrelevant. Du kan behöva efterbehandla utmatningen.

Definiera dina egna innehållsgränser. API:et tillämpar bara den lilla gränsen.

Detta ger dig flexibilitet men också ansvar. Validera outputen för din målgrupp. Använd ett enkelt nyckelordsfilter vid behov.

Modellen är anpassad för laglig vuxenanvändning. Den garanterar inte att den är lämplig för barn. Var tydlig med din målgrupp. Detta säkerställer att du undviker oväntade klagomål. API:et är utformat för utvecklare som vet vad de vill ha.

8. Optimera promptstruktur för längd

Promptstruktur påverkar både prestanda och kostnad. Långa prompts konsumerar fler tokens och ökar latensen. Dela upp dina prompts i mindre bitar om möjligt.

• Håll system prompts kortfattade.
• Använd few-shot-exempel sparsamt.
• Ta bort onödigt vitrymda.

Den icke-censurerade modellen hanterar långa prompts bra, men du är begränsad av 100k tokens fönstret. Planera din tokenbudget noggrant.

Använd temperatureparametern för att styra kreativitet. En lägre temperatur ger mer deterministiska utdata. Detta är användbart för funktionsanrop och JSON-läge.

Testa olika promptstrukturer. Små förändringar kan förbättra kvaliteten på utdatan avsevärt.

Detta är en viktig del av prompt-engineering. Modellen är flexibel, men den behöver tydliga instruktioner. Ange kontext och exempel för att styra modellen.

Övervaka tokenanvändningen i varje begäran. Detta hjälper dig att identifiera ineffektiva prompts. Optimerad för både hastighet och kostnad. API-prissättningen är transparent, så du kan beräkna exakt kostnad för varje prompt. Detta gör att du kan skala effektivt.

9. Testa med representativa osensurerade promptar

Testning är det sista steget innan deployment. Använd prompts som speglar dina faktiska användningsfall. Testa både standardfall och kanfall.

• Skicka en mängd olika prompttyper.
• Kontrollera för konsekvens i svar.
• Validera felhantering.

Den icke-censurerade modellen bör hantera ett brett spektrum av ämnen. Testa med kontroversiella eller vuxna teman för att säkerställa inga vägraner.

Testa också med funktionsanrop och JSON-läge. Se till att utdatan är parserbar och korrekt. Denna omfattande testning säkerställer en smidig lansering.

Testa med din faktiska data. Syntetisk data kanske inte avslöjar alla problem.

Detta är det bästa sättet att hitta buggar tidigt. API:et är pålitligt, men din kod kan ha problem. Verifiera integrationen från slut till slut.

Använd provkrediten för att testa noggrant. Det ger dig $0.50 i kredit i 7 dagar. Detta räcker för att testa de flesta scenarier. Registrera dig med Google eller e-post för att komma igång. Detta gör det enkelt att validera din integration innan du förbinder dig.