Dolphin ai Production Checklist

1. OpenAI互換エンドポイントの互換性の確認

エンドポイント構造が標準的なOpenAIのchat-completions形式と一致することを確認することから始めます。当社のAPIはこのスキーマに厳密に従っているため、カスタムラッパーを書かずに既存のSDKを使用できます。ベースURLはHTTPS://api.dolphinmodelos.com/v1で、すべてのリクエストでモデルIDを「uncensored」に設定する必要があります。これにより、ルーティングされたアグリゲーターではなく、専用アンセンサード推論エンジンにアクセスしていることを保証します。

• 公式の OpenAI Python または Node.js SDK を使用します。
• ベースURLをエンドポイントにオーバーライドします。
• APIキーをAuthorizationヘッダーに渡してください。

このアプローチはベンダー固有のロジックの必要性を排除します。あなたは直接uncensoredな大規模言語モデルに接続しています。レスポンスは標準的なJSON構造に従います。パーサーを壊す隠れたルーティングロジックや独自フィールドはありません。

スケーリングする前にベースURLを確認します。1文字の変更でも統合が破綻する可能性があります。

この互換性により、必要に応じて後で他のモデルに置き換えることができますが、現時点では純粋なuncensored推論が得られます。エンドポイントは予測可能でスキーマ準拠のレスポンスを望む開発者向けに設計されています。埋め込みや画像生成は提供しないため、ペイロードはテキストに集中してください。

GET /v1/modelsエンドポイントを確認し、モデルIDが"uncensored"としてリストされていることを確認してください。これは、その後のすべての呼び出しの主要なアンカーです。

2. 堅牢なストリーミングエラーハンドリングの実装

ストリーミングエラーは、本番環境のLLM統合における最も一般的な失敗点です。サーバー送信イベント（SSE）ストリームを慎重に処理する必要があります。最終チャンクにはトークン使用データが含まれますが、エラーはそれ以前のチャンクでも発生する可能性があります。

• 「error」イベントタイプをリッスンします。
• 使用量統計のために最後のチャンクを解析します。
• ネットワークタイムアウトを適切に処理します。

ストリームが常に正常に完了するとは限りません。500エラーにより、ストリームが途中で中断される可能性があります。コードは再試行するか、ユーザーに通知する必要があります。

SSEによるストリーミングはレイテンシを低減できますが、堅牢なエラー処理が必要です。接続が切れると、部分的なレスポンスが失われます。再接続する前に、最後の既知の状態を保存してください。これは、より長く、より多様な出力を生成する可能性があるuncensoredモデルにとって重要です。

最後のチャンクを絶対に無視しないでください。そこには課金対象のトークン数が含まれています。

各チャンクに対して30秒のタイムアウトを実装します。チャンクの処理に時間がかかりすぎる場合は、接続が切断されたとみなします。これにより、アプリケーションが無限にフリーズするのを防ぎます。APIは特定のレイテンシを保証しないため、回復力を備えて構築してください。

公式SDKはこれを自動的に処理しますが、生のHTTP呼び出しを書く場合は、SSE形式を手動で解析する必要があります。"data:"プレフィックスを探し、JSONを解析します。

3. コンテキストウィンドウとトークン制限の管理

コンテキストウィンドウは、プロンプトと補完を合わせて100,000トークンに制限されています。これはuncensoredモデルのハードリミットです。入力がこれを超えると、APIはエラーを返します。

• 送信前にトークン数を計算します。
• プロンプトの長さを注意深く監視します。
• 出力のmax_tokens制限を設定します。

1リクエストあたりの最大出力は16,000トークンです。max_tokensを設定しない場合、デフォルトは2,048トークンになります。これはほとんどのユースケースにとって安全なデフォルトです。

ただし、長文のコンテンツを作成する場合は、この制限を引き上げる必要があります。出力が長くなるとクレジットの消費量が増える点にご注意ください。料金は入力トークン100万トークンあたり$0.15、出力トークン100万トークンあたり$0.50です。この料金体系は透明で予測可能です。

大きなプロンプト送信前にトークン使用量を計算してください。50kトークンのプロンプトでは、出力に残るのは50kトークンだけです。

この残高はサービス品質の維持に不可欠です。より多くのコンテキストが必要な場合は、入力をチャンク分割することを検討してください。APIが自動的に切り捨てると期待しないでください。制限を超えるとエラーになります。

この制限は文字数ではなく、トークンの合計数に適用されます。正確なカウントを得るためにトークナイザーライブラリを使用してください。これにより、予算とパフォーマンスの閾値内に収まることが保証されます。

4. ツール使用のための関数呼び出しを設定する

関数呼び出しにより、アプリケーションはLLMを介して外部APIと連携できます。APIはtoolsおよびtool_choiceパラメータをサポートしています。これはエージェントワークフローの構築に不可欠です。

• リクエストに関数スキーマを定義します。
• tool_choiceを"auto"または"required"に設定します。
• 関数呼び出しの引数を注意深く解析します。

Uncensoredモデルは指示を正確に従うようにチューニングされています。これは、有効なツール呼び出しをほとんど拒否しないことを意味します。ただし、出力を検証する必要があります。モデルはわずかに不正なJSONを生成する場合があります。

関数を実行する前に関数引数を検証してください。これにより、ダウンストリームサービスでのエラーを防げます。API は標準的な OpenAI 形式で関数呼び出しを返します。これは公式 SDK を使用して解析できます。

エッジケースでの関数呼び出しをテストします。モデルは制約がない場合、引数を捏造する可能性があります。

これは無制限モデルの特徴です。より柔軟ですが、より多くの検証が必要です。ツール使用の一貫性を保つために、温度を低い値に設定します。これにより、幻覚的な引数の発生可能性が減少します。

JSONモードを使用して、さらに厳格な出力制約を適用してください。これにより、モデルが有効なJSONのみを返すことが保証されます。これは信頼性の高い自動化にとって強力な組み合わせです。

5. JSONモードの制約を検証する

JSONモードにより、モデルは有効なJSONオブジェクトを返します。これはコードでのレスポンスパースにとって重要です。response_formatパラメータを{"type": "json_object"}に設定してください。

• 構造化データの取得にJSONモードを有効にします。
• パースする前に出力を検証します。
• 解析エラーを適切に処理します。

この無制限モデルはこの制約を厳守します。JSONの外にマークダウンや余分なテキストを追加しません。これにより、パースが信頼性高く高速に行えます。

ただし、JSONモードは場合によってはモデルの創造性を低下させる可能性があります。これはモデルをスキーマ内に留めさせます。これは考慮すべきトレードオフです。厳密なデータ抽出には最適です。クリエイティブなライティングには制限的に感じられる場合があります。

使用する前に JSON を検証してください。構文エラーが 1 つあるだけでアプリが壊れる可能性があります。

パイプラインにJSONバリデーターを使用してください。これによりエラーを早期に検出できます。APIは完全なJSONを保証しませんが、非常に信頼性が高いです。

JSONモードを関数呼び出しと組み合わせることで、最大限の精度を実現します。これにより、モデルが期待どおりのデータを正確に返すことが保証されます。これは信頼性の高いAIアプリケーションを構築するための強力なツールです。

6. レート制限と同時実行数の監視

APIは公平な利用を確保するために厳格なレート制限を適用しています。キーあたり1分あたり300リクエストに制限されます。さらに、同時に8つのリクエストを処理できます。

• 1分あたりのリクエスト数を監視してください。
• 同時リクエスト数を8に制限します。
• 429 Too Many Requestsエラーを処理します。

これらの制限を超えると、APIは429エラーを返します。リトライロジックに指数関数的バックオフを実装してください。

これは本番システムにとって不可欠です。トラフィックの急増は管理されない場合、アプリケーションを圧倒する可能性があります。8 MBのリクエストボディ制限も重要です。大きなペイロードはすぐにこの制限に達する可能性があります。

レート制限エラーに対するサーキットブレーカーを実装します。これにより、連鎖的な障害を防ぎます。

アプリケーションの安定性を維持します。APIにはバースト制限がないため、トラフィックを適切に計画してください。

アカウントごとに1つのAPIキーを使用してください。より高い同時実行数が必要な場合は、新しいキーを生成できますが、古いキーは置き換えられます。これはシンプルかつ効果的な制限です。ストリームの最後のチャンクを使用して使用状況を監視してください。これにより、トークン消費量のリアルタイムフィードバックが得られます。

7. Ensure Content Policy Alignment

無制限モデルは、大人向けまたは論争的なトピックの大部分を拒否しません。ただし、1つの厳格な制限があります：未成年者との性的コンテンツです。これは常に適用されます。

• プロンプトに未成年者関連のコンテンツが含まれていないか確認してください。
• その他のアダルトトピックについても拒否はありません。
• 特定のユースケースに合わせて出力を検証します。

これにより、このモデルは創作ライティングや成人向けコンテンツに最適です。突然の拒否を心配する必要はありません。

ただし、「検閲なし」とは「フィルタリングなし」を意味しません。モデルは依然として低品質または無関係なコンテンツを生成する可能性があります。出力を後処理する必要がある場合があります。

独自のコンテンツ境界を定義します。APIは軽微な制限のみを適用します。

これにより柔軟性が得られますが、同時に責任も伴います。対象読者向けに出力を検証してください。必要に応じて単純なキーワードフィルターを使用してください。

このモデルは法的な成人向け用途に合わせて調整されています。子供への適応性を保証するものではありません。ターゲットオーディエンスを明確にしてください。これにより、予期せぬクレームを避けることができます。このAPIは、何を求めているかを知っている開発者向けに設計されています。

8. Optimize Prompt Structure for Length

プロンプトの構造はパフォーマンスとコストの両方に影響します。長いプロンプトはより多くのトークンを消費し、レイテンシを増加させます。可能であればプロンプトを小さなチャンクに分割してください。

• システムプロンプトを簡潔に保つこと。
• フィードフォワード例は控えめに使用してください。
• 不要な空白を削除。

uncensoredモデルは長いプロンプトを適切に処理しますが、100kトークンのウィンドウに制限されます。トークン予算を慎重に計画してください。

temperature パラメータを使用して創造性を制御します。低い温度はより決定論的な出力を生成します。これは関数呼び出しや JSON モードに役立ちます。

異なるプロンプト構造をテストします。小さな変更でも出力品質が大幅に向上することがあります。

これはプロンプトエンジニアリングの重要な要素です。モデルは柔軟ですが、明確な指示が必要です。コンテキストと例を提供して、モデルの動作を誘導してください。

各リクエストのトークン使用量を監視します。これにより、非効率なプロンプトを特定できます。速度とコストの両方を最適化しましょう。APIの料金は透明であるため、各プロンプトの正確なコストを計算できます。これにより、効率的なスケーリングが可能です。

9. 代表的なアンセンサードプロンプトでテストする

テストはデプロイメントの最終ステップです。実際のユースケースを反映するプロンプトを使用してください。標準ケースとエッジケースの両方をテストしてください。

• 多様なタイプのプロンプトを送信します。
• 応答の一貫性を確認してください。
• エラー処理を検証します。

この無制限モデルは幅広いトピックを処理できるはずです。拒否がないことを確認するために、論争的または成人向けテーマでテストしてください。

関数呼び出しとJSONモードでもテストしてください。出力が解析可能で正しいことを確認してください。この包括的なテストにより、スムーズなローンチが保証されます。

実際のデータでテストしてください。合成データではすべての問題が明らかにならない場合があります。

バグを早期に発見するための最善の方法です。APIは信頼性がありますが、コードに問題がある場合があります。統合をエンドツーエンドで検証してください。

十分にテストするためにトライアルクレジットを使用してください。7日間の$0.50クレジットが提供されます。これはほとんどのシナリオをテストするのに十分です。Google またはメールでサインアップして開始してください。これにより、コミットする前に統合を簡単に検証できます。