Dolphin ai Production Checklist

1. Varmista OpenAI-yhteensopivan päätepisteen yhteensopivuus

Aloita varmistamalla, että päätepisteen rakenne vastaa standardia OpenAI chat-completions -muotoa. API-palvelumme noudattaa tarkasti tätä skeemaa, joten voit käyttää olemassa olevia SDK-asiakasohjelmistoja ilman mukautettuja kääreitä. Base URL -osoite on HTTPS://api.dolphinmodelos.com/v1, ja sinun on asetettava mallin tunnus arvoksi "uncensored" jokaisessa pyynnössä. Tämä varmistaa, että kohdistat pyyntösi omistettuun uncensored-päätteenä toimivaan päättelymoottoriin eikä reititettyyn aggregaattoriin.

• Käytä virallisia OpenAI:n Python- tai Node.js-SDK:ita.
• Ohita base URL osoittamaan meidän päätepisteeseemme.
• Vie API-avaimesi Authorization-headeriin.

Tämä lähestymistapa poistaa tarpeen toimittajakohtaiseen logiikkaan. Yhdistät suoraan uncensored-kieliseen suureen kielimalliin. Vastaus noudattaa standardia JSON-rakennetta. Piilossa olevaa reitityslogiikkaa tai omistettuja kenttiä ei ole, jotka rikkoisivat jäsennintäsi.

Varmista base URL ennen skaalausta. Yhden merkin virhe voi rikkoa integraatiosi.

Tämä yhteensopivuus tarkoittaa, että voit vaihtaa myöhemmin muita malleja tarvittaessa, mutta tällä hetkellä saat puhtaan, suoraan suodatetun päättelyn. Päätepiste on suunniteltu kehittäjille, jotka haluavat ennustettavia, skeemaa noudattavia vastauksia. Se ei tarjoa upotuksia tai kuvagenerointia, joten pidä pyyntökeskiosi keskittyneenä tekstiin.

Tarkista GET /v1/models -päätepiste varmistaaksesi, että mallin ID on lueteltu "uncensored". Tämä on ensisijainen ankkurisi kaikille myöhemmille kutsuille.

2. Toteuta vahva streamausvirheenkäsittely

Stream-virheet ovat yleisin epäonnistumispiste tuotannon LLM-integraatioissa. Sinun on käsiteltävä Server-Sent Events (SSE) -virtaa huolellisesti. Viimeinen palsta sisältää token-käyttötiedot, mutta virheitä voi esiintyä myös aiemmissa palstoissa.

• Kuuntele "error"-tapahtumatyyppiä.
• Jäsennä lopullinen palikka käyttötilastojen saamiseksi.
• Käsittele verkkoaikakatkaisut joustavasti.

Älä oleta, että streamaus päättyy aina onnistuneesti. 500-virhe voi keskeyttää streamin kesken. Koodisi pitäisi yrittää uudelleen tai ilmoittaa käyttäjälle sen mukaisesti.

Streamaus SSE:n kautta mahdollistaa alhaisemman viiveen, mutta se vaatii vahvaa virheenkäsittelyä. Jos yhteys katkeaa, menetät osittaisen vastauksen. Tallenna viimeinen tunnettu tila ennen uudelleenliittymistä. Tämä on kriittistä uncensored-malleille, jotka voivat tuottaa pidempiä tai monimuotoisempia tuloksia.

Ignorieren Sie niemals den letzten Chunk. Er enthält die abrechenbare Token-Anzahl.

Aseta 30 sekunnin aikakatkaisu jokaiselle lohkolle. Jos lohko kestää pidempään, oleta, että yhteys on kuollut. Tämä estää sovelluksesi jäämästä roikkumaan ikuisesti. API ei takaa tiettyä viivettä, joten rakenna joustavuutta.

Käytä virallisia SDK:ta, jotka käsittelevät useimman tästä automaattisesti. Mutta jos kirjoitat raakoihin HTTP-kutsuihin, jäsennä SSE-muoto manuaalisesti. Etsi "data:"-etuliite ja jäsennä JSON.

3. Hallitse kontekstityynyä ja tokenirajoituksia

Konteksti-ikkuna on rajoitettu 100,000 tokeniin sekä promptiin että vastaukseen yhteensä. Tämä on kova raja uncensored-mallille. Jos syöteesi ylittää tämän, API palauttaa virheen.

• Laske tokenimäärät ennen lähettämistä.
• Seuraa promptin pituutta huolellisesti.
• Aseta max_tokens-raja lähdölle.

Maksimi vastaus pyyntöä kohden on 16 000 tokenia. Jos et aseta max_tokens -arvoa, se on oletusarvoisesti 2 048 tokenia. Tämä on turvallinen oletus useimpiin käyttötapauksiin.

Kuitenkin pitkän sisällön tuottamiseen sinun on lisättävä tätä rajaa. Huomioi, että pidemmät tulokset kuluttavat enemmän krediittejä. Hinta on $0.15 per 1M syöte-tokenia ja $0.50 per 1M tulostustokenia. Tämä hinnoittelu on läpinäkyvää ja ennustettavaa.

Laske token-käyttösi ennen suurten promptien lähettämistä. 50k tokenin prompti jättää vain 50k jäljelle lähdölle.

Tämä saldo on kriittinen palvelun laadun ylläpitämiseksi. Jos tarvitset enemmän kontekstia, harkitse syötteesi jakamista osiin. Älä luota API:n automaattiseen katkaisuun. Se aiheuttaa virheen, jos ylität rajan.

Tämä raja koskee kokonaistokenimäärää, ei vain merkkejä. Käytä tokenisoijakirjastoa saadaksesi tarkan määrän. Tämä varmistaa, että pysyt budjetin ja suorituskykyrajojen sisällä.

4. Määritä funktiokutsut työkalukäyttöä varten

Function calling mahdollistaa sovelluksesi vuorovaikutuksen ulkoisten APIjen kanssa LLM:n kautta. API tukee työkaluja ja tool_choice-parametreja. Tämä on olennaista agentic-workflowjen rakentamisessa.

• Määrittele funktioskeemasi pyynnössä.
• Aseta tool_choice arvoksi "auto" tai "required".
• Jäsennä toimintokutsun argumentit huolellisesti.

Epäsuodattamaton malli on säädetty noudattamaan ohjeita tarkasti. Tämä tarkoittaa, että se hylkää kelvollisen työkalukutsun hyvin harvoin. Sinun on kuitenkin validoitava tulos. Malli voi generoida hieman virheellistä JSONia.

Validoi aina funktion argumentit ennen niiden suorittamista. Tämä estää virheitä alajärjestelmissäsi. API palauttaa funktion kutsumisen standardissa OpenAI-muodossa. Voit jäsentää tämän virallisten SDK:iden avulla.

Testaa funktiokutsuja reunatapauksilla. Malli voi keksiä argumentteja, jos sitä ei rajoiteta.

Tämä on sisällöntarkastuksettomien mallien ominaisuus. Ne ovat joustavampia, mutta vaativat enemmän validointia. Aseta lämpötila alhaisemmalle arvolle johdonmukaisempaa työkalunkäyttöä varten. Tämä vähentää harhaanjohtavien argumenttien todennäköisyyttä.

Käytä JSON-tilaa vielä tiukempiin ulostulorajoituksiin. Tämä varmistaa, että malli palauttaa vain kelvollisen JSONin. Se on tehokas yhdistelmä luotettavaan automatisointiin.

5. Vahvista JSON-tilan rajoitukset

JSON-tila varmistaa, että malli palauttaa kelvollisen JSON-objektin. Tämä on kriittistä vastauksen jäsentämisessä koodissasi. Aseta response_format-parametri arvoksi {"type": "json_object"}.

• Ota JSON-tila käyttöön rakenteelliselle datalle.
• Varmista ulostulo ennen jäsentämistä.
• Käsittele jäsennysvirheet joustavasti.

Epäsuodattamaton malli kunnioittaa tätä ehtoa hyvin. Se ei lisää markdownia tai ylimääräistä tekstiä JSONin ulkopuolelle. Tämä tekee jäsentämisestä luotettavaa ja nopeaa.

Vaikka JSON-tila voi joskus vähentää mallin luovuutta. Se pakottaa mallin pysymään skeeman sisällä. Tämä on kompromissi, jonka sinun on harkittava. Tiukalle datan erottelulle se on ihanteellinen. Luovaan kirjoittamiseen se voi tuntua rajoittavalta.

Validoi aina JSON ennen sen käyttöä. Yksittäinen syntaksivirhe voi rikkoa sovelluksesi.

Käytä JSON-validaattoria putkeasi. Tämä havaitsee virheet ajoissa. API ei takaa täydellistä JSON-muotoa, mutta se on erittäin luotettava.

Yhdistä JSON-tila funktiokutsuihin maksimaalisen tarkkuuden saavuttamiseksi. Tämä varmistaa, että malli palauttaa täsmälleen sen, mitä odotat. Se on tehokas työkalu luotettavien tekoälysovellusten rakentamiseen.

6. Nopeusrajojen ja samanaikaisuuden seuranta

API asettaa tiukat nopeusrajoitukset varmistamaan reilun käytön. Sinulla on oikeus 300 pyyntöön minuutissa avainta kohti. Lisäksi voit tehdä 8 samanaikaista pyyntöä.

• Seuraa pyyntöjesi määrää minuutissa.
• Rajoita samanaikaisia pyyntöjä 8:aan.
• Käsittele 429-virheet (Liian monta pyyntöä).

Jos ylität nämä rajat, API palauttaa virheen 429. Sinun tulisi toteuttaa eksponentiaalinen backoff retry-logiikassasi.

Tämä on ratkaisevan tärkeää tuotantojärjestelmille. Liikenteen äkillinen huippu voi kuormittaa sovellustasi, jos sitä ei hallita. 8 MB:n pyynnön kehon rajaus on myös tärkeä. Suuret tietosisältö voivat ylittää tämän rajan nopeasti.

Ota käyttöön sulakkeisto nopeusrajoitusvirheille. Tämä estää ketjureaktiiviset vikatilanteet.

Tämä varmistaa, että sovelluksesi pysyy vakaana. API ei tarjoa burst-sallintoja, joten suunnittele liikenteesi sen mukaisesti.

Käytä yhtä API-avainta per tili. Jos tarvitset enemmän samanaikaisuutta, voit luoda uuden avaimen, mutta se korvaa vanhan. Tämä on yksinkertainen mutta tehokas rajoitus. Seuraa käyttöä streamin viimeisen osan kautta. Tämä antaa reaaliaikaisen palautteen token-kulutuksestasi.

7. Varmista sisällön politiikan yhdenmukaisuus

Epäsuodattamaton malli ei kieltäydy useimmista aikuisille tarkoitetuista tai kiistanalaisista aiheista. Siinä on kuitenkin yksi tiukka raja: alaikäisiin liittyvä seksuaalinen sisältö. Tämä pannaan aina täytäntöön.

• Tarkista alaikäiseen liittyvä sisältö kehotteissasi.
• Oleta hylkäyksiä muille aikuisille aihealueille.
• Validoi tuloste tiettyä käyttötapauksesi varten.

Tämä tekee mallista ihanteellisen luovaan kirjoittamiseen ja aikuisille tarkoitettuun sisältöön. Sinun ei tarvitse huolehtia äkillisistä hylkäyksistä.

Vaikka "sensuroimaton" ei tarkoita "suodatamatonta". Malli voi silti tuottaa huonolaatuista tai epärelevanttia sisältöä. Tulokseen voi olla tarpeen tehdä jälkikäsittelyä.

Määrittele omat sisältörajoituksesi. API asettaa vain vähäisen rajan.

Tämä antaa sinulle joustavuutta mutta myös vastuuta. Vahvista ulostulo kohdeyleisöllesi. Käytä yksinkertaista avainsuodatinta tarvittaessa.

Malli on säädetty lainmukaiseen aikuisille tarkoitettuun käyttöön. Se ei takaa soveltuvuutta lapsille. Ole selvä kohdeyleisöstäsi. Tämä varmistaa, että vältät yllättävät valitukset. API on suunniteltu kehittäjille, jotka tietävät, mitä haluavat.

8. Optimoi promptin rakenne pituuden mukaan

Promptin rakenne vaikuttaa sekä suorituskykyyn että kustannuksiin. Pitkät promptit kuluttavat enemmän tokenneja ja lisäävät viivettä. Jaa promptisi pienempiin osiin mahdollisuuksien mukaan.

• Pidä järjestelmäpromptit tiiviit.
• Käytä harvoin few-shot-esimerkkejä.
• Poista tarpeeton välilyönti.

Epäsuodattamaton malli käsittelee pitkiä syötteitä hyvin, mutta olet rajoittunut 100k merkin ikkunaan. Suunnittele merkkibudjettisi huolellisesti.

Käytä temperature-parametria hallitaksesi luovuutta. Matalampi temperature tuottaa deterministisempiä tuloksia. Tämä on hyödyllistä function callingissa ja JSON-tilassa.

Testaa eri kysymysrakenteita. Pienet muutokset voivat parantaa tulosten laatua merkittävästi.

Tämä on keskeinen osa prompt-insinööritaidon soveltamista. Malli on joustava, mutta se tarvitsee selkeitä ohjeita. Anna kontekstia ja esimerkkejä mallin ohjaamiseksi.

Seuraa tokenien käyttöä jokaisessa pyynnössä. Tämä auttaa tunnistamaan tehottomia prompteita. Optimoi sekä nopeuden että kustannusten varmistamiseksi. API:n hinnoittelu on läpinäkyvää, joten voit laskea kunkin promptin tarkan kustannuksen. Tämä mahdollistaa tehokkaan skaalauksen.

9. Testaa edustavilla uncensored-promeilla

Testaus on viimeinen vaihe ennen käyttöönottoa. Käytä prompteja, jotka heijastavat todellisia käyttötapauksiasi. Testaa sekä vakio- että reuna-arvot.

• Lähetä monenlaisia promptityyppejä.
• Tarkista johdonmukaisuus vastauksissa.
• Validoi virheenkäsittely.

Epäsuodattamaton mallin tulisi käsitellä laajan valikon aiheita. Testaa kiistanalaisten tai aikuisille teemojen kanssa varmistaaksesi, ettei hylkäyksiä tule.

Testaa myös funktiokutsuja ja JSON-tilaa. Varmista, että lähtö on jäsenneltävissä ja oikein. Tämä kattava testaus varmistaa sujuvan julkaisun.

Testaa omilla todellisilla dataasi. Synteettinen data ei välttämättä paljasta kaikkia ongelmia.

Tämä on paras tapa löytää virheet ajoissa. API on luotettava, mutta koodissasi voi olla ongelmia. Varmista integraatio päästä päähän.

Käytä trial-krediittiä perusteelliseen testaamiseen. Saat $0.50 krediittiä 7 päiväksi. Tämä riittää useimpien skenaarioiden testaamiseen. Rekisteröidy Google- tai sähköpostiosoitteella aloittaaksesi. Tämä tekee integraation validoinnista helppoa ennen sitoutumista.