Чек-лист для продакшена Dolphin ai

1. Проверьте совместимость с OpenAI-Compatible эндпоинтами

Начните с подтверждения, что структура конечной точки соответствует стандартному формату chat-completions OpenAI. Наш API строго соответствует этой схеме, поэтому вы можете использовать существующие SDK без написания пользовательских оберткок. Базовый URL — HTTPS://api.dolphinmodelos.com/v1, и вы должны установить идентификатор модели в "uncensored" в каждом запросе. Это гарантирует, что вы обращаетесь к выделенному движку инференса uncensored, а не к агрегатору маршрутизации.

• Используйте официальные SDK для Python или Node.js от OpenAI.
• Переопределите базовый URL, чтобы указать на наш эндпоинт.
• Передавайте ваш API-ключ в заголовке Authorization.

Этот подход устраняет необходимость в специфичной для поставщика логике. Вы подключаетесь напрямую к uncensored большой языковой модели. Ответ будет соответствовать стандартной структуре JSON. Никакой скрытой логики маршрутизации или проприетарных полей не сломает ваш парсер.

Проверьте базовый URL перед масштабированием. Изменение одного символа может нарушить вашу интеграцию.

Эта совместимость означает, что вы можете позже заменить другие модели, если это потребуется, но пока вы получаете чистое, необработанное выводом. Конечная точка предназначена для разработчиков, которым нужны предсказуемые ответы, соответствующие схеме. Она не поддерживает эмбеддинги или генерацию изображений, поэтому держите полезную нагрузку сфокусированной на тексте.

Проверьте конечную точку GET /v1/models, чтобы подтвердить, что идентификатор модели указан как "uncensored". Это ваш основной якорь для всех последующих вызовов.

2. Реализуйте надёжную обработку ошибок потоковой передачи

Потоковые ошибки — это самая частая точка отказа в продакшн-интеграциях LLM. Вы должны аккуратно обрабатывать поток Server-Sent Events (SSE). Последний чанк содержит данные об использовании токенов, но ошибки также могут появляться в предыдущих чанках.

• Слушайте тип события "error".
• Разбирайте последний чанк для получения статистики использования.
• Обрабатывайте сетевые таймауты корректно.

Не предполагайте, что поток всегда завершится успешно. Ошибка 500 может прервать поток посередине. Ваш код должен повторять попытку или уведомлять пользователя соответствующим образом.

Потоковая передача через SSE позволяет снизить задержку, но требует надежной обработки ошибок. Если соединение прерывается, вы теряете частичный ответ. Сохраняйте последнее известное состояние перед повторным подключением. Это критически важно для uncensored моделей, которые могут генерировать более длинные или разнообразные выводы.

Никогда не игнорируйте последний фрагмент. Он содержит количество токенов для биллинга.

Реализуйте таймаут в 30 секунд для каждого фрагмента. Если фрагмент поступает дольше, считайте соединение мертвым. Это предотвращает зависание вашего приложения на неопределенное время. API не гарантирует определенную задержку, поэтому создайте устойчивость.

Официальные SDK обрабатывают большую часть этого автоматически. Но если вы пишете прямые HTTP-запросы, вручную разбирайте формат SSE. Ищите префикс "data:" и разбирайте JSON.

3. Управление контекстным окном и лимитами токенов

Окно контекста ограничено 100 000 токенами для ввода и вывода вместе. Это жесткий лимит для uncensored модели. Если ваш ввод превышает это значение, API вернет ошибку.

• Рассчитайте количество токенов перед отправкой.
• Тщательно отслеживайте длину промпта.
• Установите лимит max_tokens для вывода.

Максимальный объем вывода за запрос составляет 16 000 токенов. Если вы не установите max_tokens, значение по умолчанию составляет 2 048 токенов. Это безопасное значение по умолчанию для большинства сценариев использования.

Однако для длинных текстов этот лимит необходимо увеличить. Учтите, что длинные ответы потребляют больше кредитов. Цена составляет $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов. Это прозрачное и предсказуемое ценообразование.

Рассчитайте потребление токенов до отправки больших промптов. Промпт на 50k токенов оставляет только 50k для вывода.

Этот баланс критически важен для поддержания качества обслуживания. Если вам нужен больший контекст, рассмотрите возможность разделения входных данных на части. Не полагайтесь на автоматическое усечение API. Он выдаст ошибку, если вы превысите лимит.

Этот лимит относится к общему количеству токенов, а не просто к символам. Используйте библиотеку токенизатора для получения точного подсчёта. Это гарантирует, что вы останетесь в рамках бюджета и порогов производительности.

4. Настройка Function Calling для использования инструментов

Вызов функций позволяет вашему приложению взаимодействовать с внешними API через LLM. API поддерживает параметры tools и tool_choice. Это необходимо для создания агентных рабочих процессов.

• Определите схемы ваших функций в запросе.
• Установите tool_choice в "auto" или "required".
• Внимательно разбирайте аргументы вызова функции.

Модель без цензуры точно следует инструкциям. Это означает, что она редко отказывает в валидном вызове инструмента. Однако вы должны проверить вывод. Модель может сгенерировать слегка некорректный JSON.

Всегда проверяйте аргументы функции перед их выполнением. Это предотвращает ошибки в ваших downstream-сервисах. API возвращает вызов функции в стандартном формате OpenAI. Вы можете разобрать это с помощью официальных SDK.

Протестируйте вызов функций на граничных случаях. Модель может придумывать аргументы, если они не ограничены.

Это особенность uncensored моделей. Они более гибкие, но требуют большей валидации. Установите температуру на более низкое значение для согласованного использования инструментов. Это снижает вероятность галлюцинаций аргументов.

Используйте режим JSON для еще более строгих ограничений вывода. Это гарантирует, что модель возвращает только действительный JSON. Это мощное сочетание для надежной автоматизации.

5. Проверьте ограничения режима JSON

Режим JSON гарантирует, что модель возвращает валидный объект JSON. Это критически важно для парсинга ответа в вашем коде. Установите параметр response_format в {"type": "json_object"}.

• Включите режим JSON для структурированных данных.
• Проверяйте вывод перед парсингом.
• Обрабатывайте ошибки парсинга корректно.

Модель без цензуры хорошо уважает это ограничение. Она не добавляет разметку или дополнительный текст за пределами JSON. Это делает парсинг надёжным и быстрым.

Однако режим JSON иногда снижает креативность модели. Он заставляет модель оставаться в рамках схемы. Это компромисс, который вы должны учитывать. Для строгого извлечения данных он идеален. Для творческого письма он может показаться ограничивающим.

Всегда проверяйте JSON перед использованием. Одна синтаксическая ошибка может сломать ваше приложение.

Используйте валидатор JSON в своем конвейере. Это позволяет выявлять ошибки на раннем этапе. API не гарантирует идеальное форматирование JSON, но обладает высокой надежностью.

Сочетайте режим JSON с вызовом функций для максимальной точности. Это гарантирует, что модель вернет именно то, что вы ожидаете. Это мощный инструмент для создания надежных AI-приложений.

6. Мониторинг ограничений скорости и параллелизма

API накладывает строгие ограничения на частоту запросов для обеспечения справедливого использования. Вам доступно 300 запросов в минуту на ключ. Кроме того, вы можете выполнять до 8 параллельных запросов одновременно.

• Отслеживайте количество запросов в минуту.
• Ограничьте одновременные запросы до 8.
• Обрабатывайте ошибки 429 Too Many Requests.

Если вы превысите эти лимиты, API вернет ошибку 429. Вам следует реализовать экспоненциальное замедление в логике повторных попыток.

Это критически важно для производственных систем. Внезапный всплеск трафика может перегрузить ваше приложение, если им не управлять. Лимит тела запроса в 8 МБ также важен. Большие полезные нагрузки могут быстро достичь этого предела.

Реализуйте «предохранитель» (circuit breaker) для ошибок лимитов. Это предотвращает каскадные сбои.

Это обеспечивает стабильность вашего приложения. API не предоставляет бонусных квот, поэтому планируйте трафик соответствующим образом.

Используйте один API-ключ на аккаунт. Если нужна большая параллельность, можно сгенерировать новый ключ, но он заменит старый. Это простое, но эффективное ограничение. Следите за использованием через последний чанк потока. Это даёт обратную связь в реальном времени о потреблении токенов.

7. Убедитесь в соответствии политике контента

Нецензурируемая модель не отказывается от большинства тем для взрослых или спорных вопросов. Однако есть одно жесткое ограничение: сексуальный контент с участием несовершеннолетних. Он всегда применяется.

• Проверьте наличие контента, связанного с несовершеннолетними, в ваших промптах.
• Ожидайте отсутствие отказов для других взрослых тем.
• Проверьте вывод для вашего конкретного случая использования.

Это делает модель идеальной для творческого письма и контента для взрослых. Вам не нужно беспокоиться о внезапных отказах.

Однако "uncensored" не означает "без фильтров". Модель все еще может генерировать контент низкого качества или нерелевантный. Вам может потребоваться постобработка вывода.

Определите свои собственные границы контента. API накладывает только небольшое ограничение.

Это дает вам гибкость, но также и ответственность. Проверяйте вывод для вашей аудитории. При необходимости используйте простой фильтр по ключевым словам.

Модель настроена на законное использование для взрослых. Она не гарантирует пригодность для детей. Чётко определяйте вашу целевую аудиторию. Это поможет избежать неожиданных жалоб. API предназначен для разработчиков, которые точно знают, что им нужно.

8. Оптимизируйте структуру промпта по длине

Структура промпта влияет как на производительность, так и на стоимость. Длинные промпты потребляют больше токенов и увеличивают задержку. Разбивайте промпты на более мелкие части, если возможно.

• Делайте системные промпты лаконичными.
• Используйте примеры few-shot экономно.
• Уберите лишние пробелы.

Нецензурируемая модель хорошо обрабатывает длинные запросы, но вы ограничены контекстным окном в 100k токенов. Тщательно планируйте свой бюджет токенов.

Используйте параметр temperature для управления креативностью. Более низкая температура дает более детерминированные выводы. Это полезно для вызова функций и режима JSON.

Протестируйте различные структуры запросов. Небольшие изменения могут значительно улучшить качество вывода.

Это важная часть промпт-инжиниринга. Модель гибкая, но ей нужны четкие инструкции. Предоставляйте контекст и примеры, чтобы направлять модель.

Отслеживайте использование токенов в каждом запросе. Это помогает выявить неэффективные промпты. Оптимизируйте как скорость, так и стоимость. Тарификация API прозрачна, поэтому вы можете рассчитать точную стоимость каждого промпта. Это позволяет эффективно масштабироваться.

9. Тестирование с репрезентативными uncensored-промптами

Тестирование — последний шаг перед развертыванием. Используйте промпты, отражающие ваши реальные сценарии использования. Тестируйте как стандартные, так и граничные случаи.

• Отправьте различные типы запросов.
• Проверьте наличие согласованности ответов.
• Проверьте обработку ошибок.

Модель без цензуры должна обрабатывать широкий спектр тем. Протестируйте её со спорными или темами для взрослых, чтобы убедиться в отсутствии отказов.

Также протестируйте с использованием function calls и режима JSON. Убедитесь, что вывод можно распарсить и он корректен. Это комплексное тестирование обеспечивает плавный запуск.

Протестируйте с вашими реальными данными. Синтетические данные могут не выявить все проблемы.

Это лучший способ поймать ошибки на ранней стадии. API надежен, но в вашем коде могут быть проблемы. Проверьте интеграцию end-to-end.

Используйте пробный кредит для тщательного тестирования. Он дает вам $0.50 кредита на 7 дней. Этого достаточно для тестирования большинства сценариев. Зарегистрируйтесь через Google или email, чтобы начать. Это упрощает проверку вашей интеграции перед принятием решения.