Dolphin ai Production Checklist

1. Verificer kompatibilitet med OpenAI-kompatible endpoints

Bekræft først, at endpoint-strukturen matcher det standard OpenAI chat-completions-format. Vores API overholder strengt denne skema, så du kan bruge eksisterende SDK'er uden at skrive tilpassede wrappers. Base URL'en er HTTPS://api.dolphinmodelos.com/v1, og du skal indstille model-id til "uncensored" i hver anmodning. Dette sikrer, at du rammer dedikeret uncensored-inferensmotoren frem for en routed aggregator.

• Brug det officielle OpenAI Python- eller Node.js SDK'er.
• Overskriv base-URL'en for at pege på vores endpoint.
• Indtast din API-nøgle i Authorization-headeren.

Denne tilgang eliminerer behovet for leverandørspecifik logik. Du opretter forbindelse direkte til en uncensored stor sprogmodel. Svaret vil følge den standard JSON-struktur. Ingen skjulte routing-logikker eller proprietære felter vil bryde din parser.

Verificér base-URL'en før skalering. Et enkelt tegns ændring kan bryde din integration.

Denne kompatibilitet betyder, at du kan indsætte andre modeller senere, hvis det er nødvendigt, men for nu får du ren, uncensored inference. Endpoint'et er designet til udviklere, der ønsker forudsigelige, schema-kompatible svar. Det tilbyder ikke embeddings eller billedgenerering, så hold din payload fokuseret på tekst.

Tjek GET /v1/models-endepunktet for at bekræfte, at model-ID'et er listet som "uncensored". Dette er din primære anker for alle efterfølgende kald.

2. Implementér robust streaming-fejlhåndtering

Stream-fejl er det mest almindelige fejlpunkt i produktion LLM-integrationer. Du skal håndtere Server-Sent Events (SSE)-strømmen omhyggeligt. Den sidste chunk indeholder token-brugsdata, men fejl kan også forekomme i tidligere chunks.

• Lytt efter "error"-begivenhedstypen.
• Parser den sidste chunk for forbrugsstatistikker.
• Håndter netværks-timeouts graceful.

Antag ikke, at streamen altid vil fuldføres succesfuldt. En 500-fejl kan afbryde streamen midtvejs. Din kode skal prøve igen eller underrette brugeren dertil.

Streaming via SSE giver lavere latens, men kræver robust fejlhåndtering. Hvis forbindelsen afbrydes, mister du det delvise svar. Gem den sidste kendte tilstand, før du genopretter forbindelsen. Dette er afgørende for uncensored-modeller, som kan generere længere eller mere varierede output.

Ignorer aldrig den sidste chunk. Den indeholder det fakturerede tokenantal.

Implementer en timeout på 30 sekunder for hver del. Hvis en del tager længere tid, antages det, at forbindelsen er død. Dette forhindrer, at din applikation hænger uendeligt. API'et garanterer ikke en specifik latens, så opbyg modstandskraft.

Brug de officielle SDK'er, som håndterer de fleste af disse opgaver automatisk. Men hvis du skriver rå HTTP-anmodninger, skal du parse SSE-formatet manuelt. Kig efter "data:"-præfikset og parser JSON.

3. Administrer kontekstvindu og tokenbegrænsninger

Kontekstvinduet er begrænset til 100.000 tokens til både prompt og completion tilsammen. Dette er en hard limit for uncensored-modellen. Hvis dit input overstiger dette, returnerer API'en en fejl.

• Beregn tokenantal før afsendelse.
• Overvåg promptlængden omhyggeligt.
• Indstil en max_tokens-grænse for output.

Det maksimale output pr. anmodning er 16.000 tokens. Hvis du ikke indstiller max_tokens, er standardværdien 2.048 tokens. Dette er en sikker standardværdi for de fleste use cases.

Men til langformet indhold skal du øge denne grænse. Vær opmærksom på, at længere output forbruger mere kredit. Prisen er $0,15 per 1M input-tokens og $0,50 per 1M output-tokens. Denne prisstruktur er gennemsigtig og forudsigelig.

Beregn dit tokenforbrug, før du sender store prompts. En prompt på 50k tokens efterlader kun 50k til output.

Denne balance er afgørende for at opretholde servicekvaliteten. Hvis du har brug for mere kontekst, skal du overveje at opdele dit input. Lid ikke til API'et om at forkorte automatisk. Det vil give en fejl, hvis du overskrider grænsen.

Denne grænse gælder for det samlede tokenantal, ikke kun tegnene. Brug en tokenizer-bibliotek til at få en nøjagtig tælling. Dette sikrer, at du forbliver inden for budgettet og ydeevnepærene.

4. Konfigurer Function Calling til værktøjsbrug

Function calling giver din applikation mulighed for at interagere med eksterne API'er via LLM'en. API'et understøtter tools og tool_choice-parametre. Dette er afgørende for at bygge agentic workflows.

• Definér dine funktionskemaer i anmodningen.
• Indstil tool_choice til "auto" eller "required".
• Parser funktionskaldsargumenterne omhyggeligt.

Den ucensurerede model er indstillet til at følge instruktioner præcist. Det betyder, at den sjældent vil afvise et gyldigt tool call. Du skal dog validere outputtet. Modellen kan generere let fejlformet JSON.

Valider altid funktionsargumenterne, før du udfører dem. Dette forhindrer fejl i dine downstream-tjenester. API'et returnerer funktionskaldet i standard OpenAI-formatet. Du kan parse dette ved hjælp af de officielle SDK'er.

Test funktionkald med kanttilfælde. Modellen kan opfinde argumenter, hvis den ikke er begrænset.

Dette er en funktion af ukensurerede modeller. De er mere fleksible, men kræver mere validering. Indstil temperaturen til en lavere værdi for konsistent værktøjsbrug. Dette reducerer sandsynligheden for hallucinerede argumenter.

Brug JSON-tilstanden for endnu strengere outputbegrænsninger. Dette sikrer, at modellen kun returnerer gyldig JSON. Det er en kraftfuld kombination til pålidelig automatisering.

5. Valider JSON-tilstandens begrænsninger

JSON-tilstand sikrer, at modellen returnerer et gyldigt JSON-objekt. Dette er kritisk til at parse svaret i din kode. Indstil response_format-parameteren til {"type": "json_object"}.

• Aktiver JSON-tilstand til strukturerede data.
• Valider outputtet, før du parserer.
• Håndter parsing-fejl graceful.

Den ucensurerede model respekterer denne begrænsning godt. Den tilføjer ikke markdown eller ekstra tekst uden for JSON. Dette gør parsingen pålidelig og hurtig.

Dog kan JSON-tilstand nogle gange reducere modellens kreativitet. Den tvinger modellen til at holde sig inden for skemaet. Dette er en afvejning, du skal overveje. Til streng dataudtrækning er det ideelt. Til kreativ skrivning kan det føles begrænsende.

Valider JSON'en, før du bruger den. En enkelt syntaksfejl kan bryde din app.

Brug en JSON-validerer i dit pipeline. Dette fanger fejl tidligt. API'et garanterer ikke perfekt JSON, men det er meget pålideligt.

Kombinér JSON-tilstand med funktionkald for maksimal præcision. Dette sikrer, at modellen returnerer præcis det, du forventer. Det er et kraftfuldt værktøj til at bygge pålidelige AI-applikationer.

6. Overvåg hastighedsbegrænsninger og konkurrenceevne

API'en håndhæver strenge rate limits for at sikre retfærdig brug. Du er begrænset til 300 requests i minuttet pr. key. Derudover kan du have 8 concurrent requests ad gangen.

• Overvåg dit forespørgselsantal i minuttet.
• Begræns samtidige anmodninger til 8.
• Håndter 429 Too Many Requests-fejl.

Hvis du overskrider disse grænser, returnerer API'et en 429-fejl. Du bør implementere eksponentiel backoff i din retry-logik.

Dette er afgørende for produktionssystemer. Et pludseligt trafiktop kan overvælde din applikation, hvis det ikke håndteres. Grænsen på 8 MB for request body er også vigtig. Store payloads kan hurtigt ramme denne grænse.

Implementer en circuit breaker til fejl ved rate limits. Dette forhindrer kaskaderende fejl.

Dette sikrer, at din applikation forbliver stabil. API'et tilbyder ikke burst-tilladelser, så planlæg din trafik derefter.

Brug en enkelt API-nøgle per konto. Hvis du har brug for mere konkurrenceevne, kan du generere en ny nøgle, men den erstatter den gamle. Dette er en simpel, men effektiv begrænsning. Overvåg dit forbrug via den sidste chunk af streamen. Dette giver dig realtidsfeedback på dit tokenforbrug.

7. Sørg for overensstemmelse med indholdspolitik

Den ucensurerede model afviser ikke de fleste voksen- eller kontroversielle emner. Der er dog en fast grænse: seksuelt indhold, der involverer mindreårig. Dette håndhæves altid.

• Tjek for mindre-relateret indhold i dine prompts.
• Forvent ingen afvisninger for andre voksne emner.
• Valider output til din specifikke use case.

Dette gør modellen ideel til kreativ skrivning og voksenindhold. Du behøver ikke at bekymre dig om pludselige afslag.

Dog betyder "ubegrænset" ikke "ufiltreret". Modellen kan stadig generere indhold af lav kvalitet eller irrelevant. Du skal måske efterbehandle outputtet.

Definér dine egne indholdsgrænser. API'et håndhæver kun den lille grænse.

Dette giver dig fleksibilitet, men også ansvar. Valider outputtet til dit publikum. Brug et simpelt nøgleordsfilter, hvis det er nødvendigt.

Modellen er tilpasset lovligt voksenbrug. Den garanterer ikke egnethed til børn. Vær klar over dit målgruppe. Dette sikrer, at du undgår uventede klager. API'et er designet til udviklere, der ved, hvad de vil have.

8. Optimer prompt-struktur for længde

Prompt-struktur påvirker både ydeevne og omkostninger. Lange prompts forbruger flere tokens og øger latensen. Opdel dine prompts i mindre dele, hvis muligt.

• Hold system prompts korte.
• Brug få-eksempel eksempler sparsomt.
• Fjern unødvendigt mellemrum.

Den ucensurerede model håndterer lange prompts godt, men du er begrænset af 100k tokens vinduet. Planlæg din token-budget omhyggeligt.

Brug temperature-parametret til at styre kreativitet. En lavere temperatur giver mere deterministiske output. Dette er nyttigt til funktionssamtale og JSON-tilstand.

Test forskellige prompt-strukturer. Små ændringer kan forbedre outputkvaliteten markant.

Dette er en vigtig del af prompt engineering. Modellen er fleksibel, men den har brug for klare instruktioner. Giv kontekst og eksempler for at vejlede modellen.

Overvåg tokenforbruget i hver anmodning. Dette hjælper dig med at identificere ineffektive prompts. Optimer for både hastighed og omkostning. API-prissætningen er gennemsigtig, så du kan beregne den nøjagtige omkostning ved hver prompt. Dette giver dig mulighed for at skalere effektivt.

9. Test med repræsentative uncensored-prompts

Test er det sidste trin før deployment. Brug prompts, der afspejler dine faktiske use cases. Test både standard- og edge cases.

• Send en række forskellige prompttyper.
• Tjek for konsistens i svar.
• Valider fejlhåndtering.

Den ucensurerede model bør håndtere et bredt spektrum af emner. Test med kontroversielle eller voksne temaer for at sikre, at der ikke er afvisninger.

Test også med function calls og JSON-tilstand. Sørg for, at outputtet er parsbart og korrekt. Denne omfattende test sikrer en glidende lancering.

Test med dine faktiske data. Syntetiske data afslører muligvis ikke alle problemer.

Dette er den bedste måde at fange bugs tidligt på. API'et er pålideligt, men din kode kan have problemer. Verificer integrationen end-to-end.

Brug prøve-kreditten til at teste grundigt. Det giver dig $0.50 i kredit i 7 dage. Dette er nok til at teste de fleste scenarier. Tilmeld dig med Google eller e-mail for at komme i gang. Dette gør det nemt at validere din integration, før du forpligter dig.