Checklista produkcyjna Dolphin ai

1. Zweryfikuj Kompatybilność Endpointu OpenAI-Compatible

Potwierdź najpierw, że struktura punktu końcowego odpowiada standardowemu formatowi chat-completions OpenAI. Nasze API ściśle przestrzega tego schematu, więc możesz używać istniejących SDK bez pisania własnych adapterów. Bazowy URL to HTTPS://api.dolphinmodelos.com/v1, a w każdym żądaniu musisz ustawić identyfikator modelu na „uncensored”. Gwarantuje to trafienie w dedykowany silnik wnioskowania bez cenzury, a nie w agregator z routowaniem.

• Użyj oficjalnych pakietów SDK Python lub Node.js OpenAI.
• Nadpisz bazowy URL, aby wskazywał na nasz endpoint.
• Przekazuj swój klucz API w nagłówku Authorization.

To podejście eliminuje potrzebę logiki specyficznej dla dostawcy. Łączysz się bezpośrednio z dużym modelem językowym bez cenzury. Odpowiedź będzie zgodna ze standardową strukturą JSON. Żadna ukryta logika routingu ani pola własnościowe nie zepsują Twojego parsera.

Sprawdź bazowy adres URL przed skalowaniem. Zmiana jednego znaku może zepsuć Twoją integrację.

Ta kompatybilność oznacza, że możesz później wstawić inne modele, jeśli zajdzie taka potrzeba, ale teraz otrzymujesz czyste, uncensored wnioskowanie. Endpoint jest zaprojektowany dla deweloperów, którzy chcą przewidywalnych, zgodnych ze schematem odpowiedzi. Nie oferuje embeddingów ani generowania obrazów, więc trzymaj się payloadu skupionego na tekście.

Sprawdź punkt końcowy GET /v1/models, aby potwierdzić, że identyfikator modelu jest wymieniony jako "uncensored". Jest to Twój główny kotwica dla wszystkich kolejnych wywołań.

2. Zaimplementuj Solidną Obsługę Błędów Strumieniowania

Błędy strumieniowania są najczęstszą przyczyną awarii w produkcyjnych integracjach LLM. Musisz ostrożnie obsługiwać strumień Eventów Wysyłanych przez Serwer (SSE). Ostatni fragment zawiera dane dotyczące użycia tokenów, ale błędy mogą również pojawiać się we wcześniejszych fragmentach.

• Nasłuchuj typu zdarzenia "error".
• Przeanaluj ostatni fragment pod kątem statystyk użycia.
• Obsługuj przekroczenia czasu sieci w sposób elegancki.

Nie zakładaj, że strumień zawsze zakończy się pomyślnie. Błąd 500 może przerwać strumień w połowie. Twój kod powinien ponowić próbę lub powiadomić użytkownika w odpowiedni sposób.

Strumieniowanie przez SSE pozwala na niższe opóźnienia, ale wymaga solidnej obsługi błędów. Jeśli połączenie zostanie przerwane, tracisz częściową odpowiedź. Zapisz ostatni znany stan przed ponownym połączeniem. Jest to kluczowe dla modeli uncensored, które mogą generować dłuższe lub bardziej zróżnicowane wyjścia.

Nigdy nie ignoruj ostatniego chunka. Zawiera on liczbę tokenów rozliczanych do opłaty.

Wdróż limit czasu 30 sekund dla każdego fragmentu. Jeśli fragment zajmie więcej czasu, załóż, że połączenie jest martwe. Zapobiega to zawieszeniu się aplikacji w nieskończoność. API nie gwarantuje określonej opóźnienia, więc zbuduj odporność.

Użyj oficjalnych SDK, które obsługują większość tego automatycznie. Ale jeśli piszesz surowe wywołania HTTP, przeanalizuj format SSE ręcznie. Szukaj prefiksu "data:" i przeanalizuj JSON.

3. Zarządzanie oknem kontekstowym i limitami tokenów

Okno kontekstowe jest ograniczone do 100 000 tokenów dla promptu i uzupełnienia łącznie. Jest to limit ścisły dla modelu uncensored. Jeśli Twój prompt przekroczy ten limit, interfejs API zwróci błąd.

• Oblicz liczbę tokenów przed wysłaniem.
• Monitoruj długość promptu uważnie.
• Ustaw limit max_tokens dla wyjścia.

Maksymalna liczba tokenów wyjściowych na żądanie to 16 000. Jeśli nie ustawisz max_tokens, wartość domyślna wynosi 2 048 tokenów. Jest to bezpieczna wartość domyślna dla większości przypadków użycia.

Jednakże w przypadku treści długich należy zwiększyć ten limit. Pamiętaj, że dłuższe wyjścia zużywają więcej kredytu. Cena wynosi $0.15 za 1M tokenów wejściowych i $0.50 za 1M tokenów wyjściowych. Ceny są przejrzyste i przewidywalne.

Oblicz zużycie tokenów przed wysłaniem dużych promptów. Prompt o rozmiarze 50k tokenów pozostawia tylko 50k na wyjście.

To saldo jest kluczowe dla utrzymania jakości usługi. Jeśli potrzebujesz więcej kontekstu, rozważ podział (chunking) swojego wejścia. Nie polegaj na automatycznym przycinaniu przez API. Zwróci błąd, jeśli przekroczysz limit.

Ten limit dotyczy całkowitej liczby tokenów, a nie tylko znaków. Użyj biblioteki tokenizującej, aby uzyskać dokładny wynik. Zapewnia to pozostanie w ramach budżetu i progów wydajności.

4. Skonfiguruj Wywoływanie Funkcji do Używania Narzędzi

Wywoływanie funkcji pozwala Twojej aplikacji na interakcję z zewnętrznymi API za pośrednictwem LLM. API obsługuje parametry tools i tool_choice. Jest to kluczowe dla budowania przepływów pracy agentywnych.

• Zdefiniuj schematy swoich funkcji w żądaniu.
• Ustaw tool_choice na "auto" lub "required".
• Przeanaluj argumenty wywołania funkcji dokładnie.

Model uncenzurowany jest dostrojony do precyzyjnego przestrzegania instrukcji. Oznacza to, że rzadko odrzuci ważne wywołanie narzędzia. Musisz jednak zweryfikować wyjście. Model może wygenerować lekko niespójny format JSON.

Zawsze waliduj argumenty funkcji przed ich wykonaniem. Zapobiega to błędom w usługach downstream. API zwraca wywołanie funkcji w standardowym formacie OpenAI. Możesz go przeanalizować za pomocą oficjalnych bibliotek SDK.

Przetestuj wywoływanie funkcji w przypadkach brzegowych. Model może wymyślać argumenty, jeśli nie zostanie ograniczony.

To jest funkcja modeli bez cenzury. Są bardziej elastyczne, ale wymagają więcej walidacji. Ustaw temperaturę na niższą wartość dla spójnego używania narzędzi. Zmniejsza to prawdopodobieństwo halucynacji argumentów.

Użyj trybu JSON dla jeszcze ściślejszych ograniczeń wyjściowych. Zapewnia to, że model zwraca tylko poprawny JSON. Jest to potężna kombinacja dla niezawodnej automatyzacji.

5. Zweryfikuj ograniczenia trybu JSON

Tryb JSON zapewnia, że model zwraca poprawny obiekt JSON. Jest to krytyczne do parsowania odpowiedzi w Twoim kodzie. Ustaw parametr response_format na {"type": "json_object"}.

• Włącz tryb JSON dla danych strukturalnych.
• Zweryfikuj wynik przed parsowaniem.
• Obsługuj błędy parsowania w sposób elegancki.

Model uncenzurowany dobrze respektuje to ograniczenie. Nie dodaje znaczników ani dodatkowego tekstu poza JSON. Dzięki temu parsowanie jest niezawodne i szybkie.

Jednak tryb JSON może czasami zmniejszyć kreatywność modelu. Zmusza model do utrzymania się w ramach schematu. To kompromis, który musisz rozważyć. Dla ścisłego ekstrakcji danych jest idealny. Dla pisania kreatywnego może wydawać się restrykcyjny.

Zawsze waliduj JSON przed jego użyciem. Pojedynczy błąd składniowy może zepsuć Twoją aplikację.

Użyj walidatora JSON w swoim potoku. Pozwala to łapać błędy na wczesnym etapie. API nie gwarantuje idealnego JSON, ale jest bardzo niezawodne.

Połącz tryb JSON z wywoływaniem funkcji dla maksymalnej precyzji. Zapewnia to, że model zwraca dokładnie to, czego oczekujesz. Jest to potężne narzędzie do budowania niezawodnych aplikacji AI.

6. Monitoruj Limity Szybkości i Równoległość

API narzuca ścisłe limity szybkości, aby zapewnić sprawiedliwe korzystanie. Jesteś ograniczony do 300 żądań na minutę na klucz. Dodatkowo możesz mieć 8 jednoczesnych żądań jednocześnie.

• Monitoruj liczbę żądań na minutę.
• Ogranicz równoczesne żądania do 8.
• Obsłuż błędy 429 Too Many Requests.

Jeśli przekroczysz te limity, API zwróci błąd 429. Powinieneś zaimplementować wykładniczy backoff w swojej logice ponawiania.

To kluczowe dla systemów produkcyjnych. Nagły wzrost ruchu może przytłoczyć Twoją aplikację, jeśli nie zostanie zarządzany odpowiednio. Limit 8 MB dla ciała żądania jest również istotny. Duże ładunki mogą szybko przekroczyć ten limit.

Wdróż przełącznik obwodowy dla błędów limitu szybkości. Zapobiega to kaskadowym awariom.

To zapewnia stabilność Twojej aplikacji. API nie oferuje limitów burstowych, więc zaplanuj ruch odpowiednio.

Użyj jednego klucza API na konto. Jeśli potrzebujesz większej współbieżności, możesz wygenerować nowy klucz, ale zastąpi on stary. Jest to prosty, ale skuteczny limit. Monitoruj swoje użycie poprzez ostatni fragment strumienia. Daje to rzeczywiste informacje zwrotne na temat zużycia tokenów.

7. Zapewnienie zgodności z polityką treści

Model bez cenzury nie odmawia większości treści dla dorosłych lub kontrowersyjnych. Istnieje jednak jeden sztywny limit: treści seksualne z udziałem małoletnich. Zawsze jest on egzekwowany.

• Sprawdź obecność treści związanych z małoletnimi w swoich promptach.
• Oczekuj braku odmów dla innych tematów dla dorosłych.
• Zweryfikuj wyjście dla Twojego konkretnego przypadku użycia.

Dzięki temu model jest idealny do pisania kreatywnego i treści dla dorosłych. Nie musisz martwić się o nagłe odmowy.

Jednak "uncensored" nie oznacza "nieprzefiltrowany". Model nadal może generować treści niskiej jakości lub nieistotne. Możesz potrzebować post-processingu wyjścia.

Zdefiniuj własne granice treści. API narzuca tylko ograniczenie.

Daje Ci to elastyczność, ale także odpowiedzialność. Zweryfikuj wynik dla swojej grupy odbiorców. Użyj prostego filtra słów kluczowych, jeśli jest to konieczne.

Model jest dostosowany do legalnego użytku dorosłych. Nie gwarantuje on przydatności dla dzieci. Określ wyraźnie swoją grupę docelową. Zapewnia to uniknięcie nieoczekiwanych reklamacji. API jest zaprojektowane dla deweloperów, którzy wiedzą, czego oczekują.

8. Optymalizuj strukturę promptu pod kątem długości

Struktura promptu wpływa zarówno na wydajność, jak i koszty. Długie prompty zużywają więcej tokenów i zwiększają opóźnienia. Podziel swoje prompty na mniejsze fragmenty, jeśli to możliwe.

• Utrzymuj prompty systemowe zwięzłe.
• Używaj przykładów few-shot oszczędnie.
• Usuń zbędne białe znaki.

Model bez cenzury dobrze radzi sobie z długimi promptami, ale jesteś ograniczony oknem 100k tokenów. Zaplanuj budżet tokenów starannie.

Użyj parametru temperature, aby kontrolować kreatywność. Niższa temperatura daje bardziej deterministyczne wyniki. Jest to przydatne przy wywoływaniu funkcji i trybie JSON.

Przetestuj różne struktury promptów. Małe zmiany mogą znacząco poprawić jakość outputu.

To jest kluczowy element inżynierii promptów. Model jest elastyczny, ale wymaga jasnych instrukcji. Podaj kontekst i przykłady, aby poprowadzić model.

Monitoruj zużycie tokenów w każdym żądaniu. Pomaga to zidentyfikować nieefektywne prompty. Zoptymalizuj pod kątem zarówno szybkości, jak i kosztu. Ceny API są przejrzyste, więc możesz obliczyć dokładny koszt każdego promptu. Pozwala to na efektywne skalowanie.

9. Przetestuj z reprezentacyjnymi promptami uncensored

Testowanie to ostatni krok przed wdrożeniem. Użyj promptów, które odzwierciedlają Twoje rzeczywiste przypadki użycia. Przetestuj zarówno standardowe, jak i przypadki brzegowe.

• Wyślij różnorodne typy promptów.
• Sprawdź spójność odpowiedzi.
• Zweryfikuj obsługę błędów.

Model uncenzurowany powinien obsługiwać szeroki zakres tematów. Przetestuj go z kontrowersyjnymi lub erotycznymi motywami, aby upewnić się, że nie ma odrzuceń.

Przetestuj również wywołania funkcji i tryb JSON. Upewnij się, że wyjście jest poprawne i nadaje się do parsowania. To kompleksowe testowanie zapewnia płynne wdrożenie.

Przetestuj swoimi rzeczywistymi danymi. Dane syntetyczne mogą nie ujawnić wszystkich problemów.

To najlepszy sposób na wychwycenie błędów na wczesnym etapie. API jest niezawodne, ale Twój kod może mieć problemy. Zweryfikuj integrację end-to-end.

Użyj kredytu próbnej do dokładnego przetestowania. Daje Ci $0.50 kredytu na 7 dni. To wystarczy do przetestowania większości scenariuszy. Zarejestruj się za pomocą Google lub e-maila, aby rozpocząć. Ułatwia to walidację integracji przed zobowiązaniem się.