Чек-лист для продукції Dolphin ai

1. Перевірте сумісність ендпоінтів, сумісних з OpenAI

Почніть із підтвердження того, що структура кінцевої точки відповідає стандартному формату chat-completions OpenAI. Наш API суворо дотримується цієї схеми, тому ви можете використовувати існуючі SDK без написання власних обгорток. Базова URL-адреса — HTTPS://api.dolphinmodelos.com/v1, і ви повинні встановити ідентифікатор моделі як "uncensored" у кожному запиті. Це гарантує, що ви звертаєтесь до видженого рушія інференції uncensored, а не до агрегатора маршрутизації.

• Використовуйте офіційні SDK для Python або Node.js від OpenAI.
• Перевизначте базовий URL, щоб вказати на наш кінцевий пункт.
• Передавайте свій API-ключ у заголовку Authorization.

Цей підхід усуває необхідність у специфічній для постачальника логіці. Ви підключаєтесь безпосередньо до uncensored великої мовної моделі. Відповідь відповідатиме стандартній структурі JSON. Немає прихованої логіки маршрутизації або пропрієтарних полів, які можуть зламати ваш парсер.

Перевірте базовий URL перед масштабуванням. Одна зміна символу може зламати вашу інтеграцію.

Ця сумісність означає, що ви можете пізніше замінити інші моделі, якщо це потрібно, але зараз ви отримуєте чисте uncensored висновки. Кінцева точка розроблена для розробників, які хочуть передбачуваних відповідей, що відповідають схемі. Вона не пропонує ембедінги чи генерацію зображень, тому зосередьте свій запит на тексті.

Перевірте кінцеву точку GET /v1/models, щоб підтвердити, що ID моделі зазначено як "uncensored". Це ваш основний якір для всіх подальших викликів.

2. Реалізуйте надійну обробку помилок потокової передачі

Потокові помилки є найбільш поширеною точкою відмови в продуктивних інтеграціях LLM. Ви повинні обережно обробляти потік Server-Sent Events (SSE). Останній фрагмент містить дані про використання токенів, але помилки також можуть з’являтися в попередніх фрагментах.

• Слухайте тип події "error".
• Парсуйте останній чанк для статистики використання.
• Обробляйте таймаути мережі коректно.

Не припускайте, що потік завжди завершиться успішно. Помилка 500 може перервати потік посередині. Ваш код повинен повторити спробу або сповістити користувача відповідним чином.

Стримінг через SSE дозволяє зменшити затримку, але вимагає надійної обробки помилок. Якщо з'єднання переривається, ви втрачаєте часткову відповідь. Зберігайте останній відомий стан перед повторним підключенням. Це критично важливо для uncensored моделей, які можуть генерувати довші або більш різноманітні виводи.

Ніколи не ігноруйте останній фрагмент. Він містить підраховану кількість токенів для оплати.

Встановіть таймаут 30 секунд для кожного фрагмента. Якщо фрагмент надходить повільніше, припустіть, що з’єднання втрачено. Це запобігає зависанню вашого додатку назавжди. API не гарантує конкретну затримку, тому створіть стійкість.

Використовуйте офіційні SDK, які більшість цього обробляють автоматично. Але якщо ви пишете прямі HTTP-запити, парсуйте формат SSE вручну. Шукайте префікс "data:" та парсуйте JSON.

3. Керування вікном контексту та лімітами токенів

Контекстне вікно обмежене 100 000 токенів для суми промпту та відповіді. Це суворий ліміт для uncensored моделі. Якщо ваш вхідний обсяг перевищує це значення, API поверне помилку.

• Розрахуйте кількість токенів перед надсиланням.
• Уважно моніторьте довжину промпта.
• Встановіть обмеження max_tokens для виходу.

Максимальний обсяг виводу за запит становить 16 000 токенів. Якщо ви не встановите max_tokens, значення за замовчуванням становитиме 2048 токенів. Це безпечне значення за замовчуванням для більшості сценаріїв використання.

Однак для довгих текстів вам потрібно збільшити цей ліміт. Майте на увазі, що довші відповіді споживають більше кредитів. Ціна становить $0.15 за 1M вхідних токенів та $0.50 за 1M вихідних токенів. Цінапрозора та передбачувана.

Розрахуйте використання токенів перед надсиланням великих промптів. Промпт на 50k токенів залишає лише 50k для виходу.

Цей баланс критично важливий для підтримки якості сервісу. Якщо вам потрібно більше контексту, розгляньте можливість розбиття вхідних даних на частини. Не покладайтеся на автоматичне обрізання API. Ви отримаєте помилку, якщо перевищите ліміт.

Цей ліміт стосується загальної кількості токенів, а не лише символів. Використовуйте бібліотеку токенизатора для отримання точної кількості. Це гарантує, що ви залишатиметеся в межах бюджету та порогів продуктивності.

4. Налаштуйте Function Calling для використання інструментів

Виклик функцій дозволяє вашій програмі взаємодіяти з зовнішніми API через LLM. API підтримує параметри tools та tool_choice. Це важливо для створення агентних робочих процесів.

• Визначте ваші схеми функцій у запиті.
• Встановіть tool_choice як "auto" або "required".
• Парсуйте аргументи виклику функції уважно.

Нецензурована модель налаштована точно виконувати інструкції. Це означає, що вона рідко відхилятиме дійсний виклик інструменту. Однак ви повинні перевіряти вивід. Модель може генерувати трохи некоректний JSON.

Завжди перевіряйте аргументи функції перед їх виконанням. Це запобігає помилкам у ваших наступних службах. API повертає виклик функції у стандартному форматі OpenAI. Ви можете проаналізувати це за допомогою офіційних SDK.

Протестуйте виклики функцій із граничними випадками. Модель може вигадувати аргументи, якщо їх не обмежити.

Це особливість uncensored моделей. Вони більш гнучкі, але вимагають більшої валідації. Встановіть температуру на нижче значення для послідовного використання інструментів. Це зменшує ймовірність галюцинацій аргументів.

Використовуйте режим JSON для ще суворіших обмежень виводу. Це гарантує, що модель повертатиме лише дійсний JSON. Це потужна комбінація для надійної автоматизації.

5. Перевірка обмежень режиму JSON

Режим JSON гарантує, що модель повертає дійсний об'єкт JSON. Це критично важливо для парсингу відповіді у вашому коді. Встановіть параметр response_format у {"type": "json_object"}.

• Увімкніть режим JSON для структурованих даних.
• Перевіряйте вихідні дані перед парсингом.
• Обробляйте помилки парсингу коректно.

Нецензурована модель добре поважає це обмеження. Вона не додаватиме markdown або додатковий текст поза JSON. Це робить парсинг надійним і швидким.

Однак режим JSON іноді може зменшити креативність моделі. Він змушує модель залишатися в межах схеми. Це компроміс, який ви повинні врахувати. Для суворого видобутку даних він ідеальний. Для творчого письма він може здатися обмежувальним.

Завжди перевіряйте JSON перед його використанням. Одна синтаксична помилка може зламати ваш додаток.

Використовуйте валідатор JSON у своєму конвеєрі. Це дозволяє виявляти помилки на ранніх етапах. API не гарантує ідеальний JSON, але він надзвичайно надійний.

Поєднуйте режим JSON із викликом функцій для максимальної точності. Це гарантує, що модель поверне саме те, що ви очікуєте. Це потужний інструмент для створення надійних AI-додатків.

6. Моніторинг лімітів швидкості та паралелізму

API встановлює суворі ліміти швидкості для забезпечення справедливого використання. Вам дозволено 300 запитів на хвилину на ключ. Крім того, ви можете мати 8 одночасних запитів одночасно.

• Відстежуйте кількість запитів за хвилину.
• Обмежте одночасні запити до 8.
• Вирішуйте помилки 429 Too Many Requests.

Якщо ви перевищите ці ліміти, API поверне помилку 429. Вам слід реалізувати експоненційне сповільнення у логіці повторних спроб.

Це критично важливо для продукційних систем. Рапсовий сплеск трафіку може перевантажити ваш додаток, якщо ним не керувати. Ліміт тіла запиту в 8 МБ також важливий. Великі корисні навантаження можуть швидко досягти цього ліміту.

Реалізуйте «автоматичний вимикач» (circuit breaker) для помилок лімітів швидкості. Це запобігає каскадним збоям.

Це забезпечує стабільність вашого додатку. API не надає бонусних квот на сплески трафіку, тому плануйте навантаження відповідним чином.

Використовуйте один API-ключ для облікового запису. Якщо вам потрібно більше паралелізму, ви можете згенерувати новий ключ, але він замінить старий. Це простий, але ефективний ліміт. Слідкуйте за своїм використанням через останній фрагмент потоку. Це дає вам зворотний зв’язок у реальному часі щодо споживання токенів.

7. Забезпечення відповідності політиці контенту

Нецензурована модель не відмовляється від більшості дорослих або суперечливих тем. Однак існує одна жорстка межа: сексуальний контент із залученням неповнолітніх. Вона завжди застосовується.

• Перевірте наявність контенту, пов’язаного з неповнолітніми, у ваших промптах.
• Очікуйте відсутність відмов для інших дорослих тем.
• Перевірте вивід для вашого конкретного випадку використання.

Це робить модель ідеальною для творчого письма та контенту для дорослих. Вам не потрібно турбуватися про раптові відмови.

Однак "uncensored" не означає "unfiltered". Модель все ще може генерувати контент низької якості або невідповідний. Вам може знадобитися постобробка виводу.

Визначте власні межі контенту. API накладає лише невелике обмеження.

Це дає вам гнучкість, але й відповідальність. Перевіряйте вивід для вашої аудиторії. Використовуйте простий фільтр ключових слів, якщо потрібно.

Модель налаштована для законного використання дорослими. Вона не гарантує придатності для дітей. Чітко визначайте цільову аудиторію. Це допоможе уникнути несподіваних скарг. API розроблено для розробників, які знають, чого хочуть.

8. Оптимізація структури промпта за довжиною

Структура промпту впливає як на продуктивність, так і на витрати. Довгі промпти споживають більше токенів і збільшують затримку. Розбивайте свої промпти на менші частини, якщо можливо.

• Зберігайте системні промпти стислими.
• Використовуйте приклади з небагатьма варіантами стримано.
• Видалення зайвого пробілу.

Нецензурована модель добре обробляє довгі запити, але ви обмежені вікном контексту 100k токенів. Плануйте свій бюджет токенів ретельно.

Використовуйте параметр temperature для керування креативністю. Нижча температура дає більш детерміновані результати. Це корисно для виклику функцій та режиму JSON.

Протестуйте різні структури запитів. Невеликі зміни можуть значно покращити якість виводу.

Це ключова частина інженерії промптів. Модель гнучка, але їй потрібні чіткі інструкції. Надавайте контекст та приклади, щоб керувати поведінкою моделі.

Моніторьте використання токенів у кожному запиті. Це допомагає виявити неефективні промпти. Оптимізуйте як швидкість, так і вартість. Тарифікація API прозора, тому ви можете розрахувати точну вартість кожного промпта. Це дозволяє ефективно масштабуватися.

9. Тестування з репрезентативними uncensored-промптами

Тестування — це останній крок перед розгортанням. Використовуйте запити, які відображають ваші фактичні випадки використання. Тестуйте як стандартні, так і крайні випадки.

• Надішліть різноманітні типи запитів.
• Перевірте узгодженість відповідей.
• Перевірте обробку помилок.

Нецензурована модель повинна обробляти широкий спектр тем. Протестуйте її з суперечливими або дорослими темами, щоб переконатися, що відсутні відмови.

Також протестуйте з викликом функцій та режимом JSON. Переконайтеся, що вивід є коректним і піддається парсингу. Це комплексне тестування гарантує бездоганний запуск.

Протестуйте з вашими реальними даними. Синтетичні дані можуть не виявити всі проблеми.

Це найкращий спосіб виявляти баги на ранніх етапах. API є надійним, але ваш код може мати проблеми. Перевірте інтеграцію кінцевий-до-кінцевого.

Використовуйте пробний кредит для ретельного тестування. Він дає вам $0.50 кредиту на 7 days. Цього достатньо для тестування більшості сценаріїв. Зареєструйтеся через Google або електронну пошту, щоб почати. Це полегшує перевірку вашої інтеграції перед зобов'язанням.