Dolphin ai Production Checklist

1. OpenAI 호환 엔드포인트 호환성 확인하기

엔드포인트 구조가 표준 OpenAI chat-completions 형식과 일치하는지 먼저 확인하세요. 당사 API는 이 스키마를 엄격히 따르므로 커스텀 래퍼를 작성하지 않고도 기존 SDK를 사용할 수 있습니다. 기본 URL은 HTTPS://api.dolphinmodelos.com/v1이며, 모든 요청에서 model id를 "uncensored"로 설정해야 합니다. 이렇게 하면 라우팅된 애그리게게이터가 아닌 전용 uncensored 추론 엔진에 접근하게 됩니다.

• 공식 OpenAI Python 또는 Node.js SDK를 사용하세요.
• 베이스 URL을 우리 엔드포인트로 재정의합니다.
• Authorization 헤더에 API 키를 전달하세요.

이 접근 방식은 벤더별 로직의 필요성을 제거합니다. uncensored 대규모 언어 모델에 직접 연결합니다. 응답은 표준 JSON 구조를 따릅니다. 파서를 깨뜨릴 숨겨진 라우팅 로직이나 독점 필드가 없습니다.

확장 전 기본 URL을 확인하십시오. 문자 하나만 변경해도 통합이 중단될 수 있습니다.

이 호환성은 필요시 나중에 다른 모델로 교체할 수 있지만, 현재 순수한 uncensored 추론을 제공합니다. 엔드포인트는 예측 가능하고 스키마 준수 응답을 원하는 개발자를 위해 설계되었습니다. 임베딩이나 이미지 생성을 제공하지 않으므로 페이로드를 텍스트에 집중하세요.

GET /v1/models 엔드포인트를 확인하여 모델 ID가 "uncensored"로 나열되어 있는지 확인하세요. 이는 이후 모든 호출의 주요 기준점(anchor)입니다.

2. 견고한 스트리밍 오류 처리 구현

스트림 오류는 프로덕션 LLM 통합에서 가장 흔한 실패 지점입니다. Server-Sent Events (SSE) 스트림을 신중하게 처리해야 합니다. 마지막 청크에는 토큰 사용 데이터가 포함되지만, 오류는 이전 청크에서도 발생할 수 있습니다.

• "error" 이벤트 유형을 기다립니다.
• 사용량 통계를 위해 마지막 청크를 파싱하세요.
• 네트워크 타임아웃을 우아하게 처리하세요.

스트림이 항상 성공적으로 완료된다고 가정하지 마세요. 500 오류는 스트림 중간에 인터럽트를 일으킬 수 있습니다. 코드는 이에 따라 재시도하거나 사용자에게 알림을 보내야 합니다.

SSE를 통한 스트리밍은 낮은 지연 시간을 제공하지만 강력한 오류 처리가 필요합니다. 연결이 끊어지면 부분 응답을 잃게 됩니다. 재연결하기 전에 마지막 알려진 상태를 저장해야 합니다. 이는 더 길거나 다양한 출력을 생성할 수 있는 무검열 모델에 특히 중요합니다.

최종 청크를 절대 무시하지 마세요. 여기에는 청구 가능한 토큰 수가 포함되어 있습니다.

각 청크에 대해 30초의 시간 초과를 구현하세요. 청크가 더 오래 걸리면 연결이 끊긴 것으로 간주하세요. 이는 애플리케이션이 무한히 대기하는 것을 방지합니다. API는 특정 지연 시간을 보장하지 않으므로 내구성을 구축하세요.

대부분의 작업을 자동으로 처리하는 공식 SDK를 사용하세요. 하지만 원시 HTTP 호출을 작성하는 경우 SSE 형식을 수동으로 파싱해야 합니다. "data:" 접두사를 찾고 JSON을 파싱하세요.

3. 컨텍스트 윈도우 및 토큰 제한 관리

컨텍스트 윈도우는 프롬프트와 완성을 합쳐 100,000 토큰으로 제한됩니다. 이는 uncensored 모델의 하드 제한입니다. 입력이 이를 초과하면 API가 오류를 반환합니다.

• 요청을 보내기 전에 토큰 수를 계산하세요.
• 프롬프트 길이를 주의 깊게 모니터링하세요.
• 출력을 위한 max_tokens 제한을 설정합니다.

요청당 최대 출력은 16,000 토큰입니다. max_tokens를 설정하지 않으면 기본값은 2,048 토큰입니다. 이는 대부분의 사용 사례에 안전한 기본값입니다.

하지만 장문 콘텐츠를 작성하려면 이 제한을 늘려야 합니다. 긴 출력은 더 많은 크레딧을 소모한다는 점을 유의하세요. 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 이 가격 정책은 투명하고 예측 가능합니다.

대규모 프롬프트 전송 전 토큰 사용량을 계산하세요. 50k 토큰 프롬프트는 출력에 50k 토큰만 남깁니다.

이 잔액은 서비스 품질 유지에 중요합니다. 더 많은 맥락이 필요한 경우 입력을 청킹하세요. API가 자동으로 잘라내기를 기대하지 마세요. 제한을 초과하면 오류가 발생합니다.

이 제한은 문자가 아닌 총 토큰 수에 적용됩니다. 정확한 계산을 위해 토크나이저 라이브러리를 사용하십시오. 이는 예산과 성능 한도 내에서 유지되도록 보장합니다.

4. 도구 사용을 위한 함수 호출 구성하기

함수 호출을 통해 애플리케이션이 LLM을 통해 외부 API와 상호작용할 수 있습니다. API는 도구 및 tool_choice 매개변수를 지원합니다. 이는 에이전트 워크플로우 구축에 필수적입니다.

• 요청에 함수 스키마를 정의하세요.
• tool_choice를 "auto" 또는 "required"로 설정하세요.
• 함수 호출 인수를 신중하게 파싱하세요.

uncensored 모델은 지시를 정확하게 따르도록 튜닝됩니다. 이는 유효한 도구 호출을 거의 거부하지 않음을 의미합니다. 그러나 출력을 검증해야 합니다. 모델이 약간 손상된 JSON을 생성할 수 있습니다.

항상 실행 전에 함수 인수를 검증하세요. 이는 다운스트림 서비스의 오류를 방지합니다. API는 표준 OpenAI 형식으로 함수 호출을 반환합니다. 공식 SDK를 사용하여 이를 파싱할 수 있습니다.

경계 사례를 포함하여 함수 호출을 테스트합니다. 제약 조건이 없으면 모델이 인수를 생성할 수 있습니다.

이것은 무검열 모델의 특징입니다. 더 유연하지만 더 많은 검증이 필요합니다. 도구 사용의 일관성을 위해 온도를 낮은 값으로 설정하세요. 이는 환각된 인수의 발생 가능성을 줄입니다.

더 엄격한 출력 제약을 위해 JSON 모드를 사용하세요. 이는 모델이 유효한 JSON만 반환하도록 보장합니다. 신뢰할 수 있는 자동화를 위한 강력한 조합입니다.

5. JSON 모드 제약 조건 확인

JSON 모드는 모델이 유효한 JSON 객체를 반환하도록 보장합니다. 이는 코드에서 응답을 파싱하는 데 중요합니다. response_format 매개변수를 {"type": "json_object"}로 설정하세요.

• 구조화된 데이터를 위해 JSON 모드를 활성화하세요.
• 파싱하기 전에 출력을 검증합니다.
• 파싱 오류를 우아하게 처리하세요.

uncensored 모델은 이 제약 조건을 잘 존중합니다. JSON 외부에 마크다운이나 추가 텍스트를 추가하지 않습니다. 이는 파싱을 신뢰할 수 있고 빠르게 만듭니다.

JSON 모드 때때로 모델의 창의성을 감소시킬 수 있습니다. 이는 모델이 스키마 내에 머무르도록 강제합니다. 이는 고려해야 할 트레이드오프입니다. 엄격한 데이터 추출에는 이상적입니다. 창의적인 글쓰기에는 제한적으로 느껴질 수 있습니다.

항상 사용 전에 JSON을 검증하세요. 단일 구문 오류가 앱을 깨뜨릴 수 있습니다.

파이프라인에 JSON 검증기를 사용하세요. 이를 통해 오류를 조기에 발견할 수 있습니다. API는 완벽한 JSON을 보장하지는 않지만 매우 신뢰할 수 있습니다.

JSON 모드를 함수 호출과 결합하여 최대 정밀도를 확보하세요. 이는 모델이 정확히 원하는 결과를 반환하도록 보장합니다. 신뢰할 수 있는 AI 애플리케이션 구축을 위한 강력한 도구입니다.

6. 속도 제한(Rate Limits) 및 동시성 모니터링

API는 공정한 사용을 위해 엄격한 속도 제한을 적용합니다. 키당 분당 최대 300회의 요청이 제한됩니다. 또한 동시에 최대 8개의 동시 요청이 가능합니다.

• 분당 요청 수를 모니터링하세요.
• 동시 요청을 8개로 제한하세요.
• 429 Too Many Requests 오류를 처리하세요.

이러한 제한을 초과하면 API가 429 오류를 반환합니다. 재시도 로직에 지수 백오프를 구현해야 합니다.

이것은 프로덕션 시스템에 중요합니다. 트래픽이 갑자기 급증하면 관리되지 않을 경우 애플리케이션이 과부하될 수 있습니다. 8MB 요청 본문 제한도 중요합니다. 큰 페이로드는 이 제한에 빠르게 도달할 수 있습니다.

레이트 리밋 오류에 대한 서킷 브레이커를 구현하세요. 이는 연쇄적 오류를 방지합니다.

애플리케이션의 안정성을 보장합니다. API는 버스트 허용치를 제공하지 않으므로 트래픽을 적절히 계획하세요.

계정당 단일 API 키를 사용하세요. 더 많은 동시성을 원하면 새 키를 생성할 수 있지만 기존 키가 대체됩니다. 이는 단순하지만 효과적인 제한입니다. 스트림의 마지막 청크를 통해 사용량을 모니터링하세요. 이는 토큰 소비에 대한 실시간 피드백을 제공합니다.

7. Ensure Content Policy Alignment

uncensored 모델은 대부분의 성인 또는 논쟁적인 주제를 거부하지 않습니다. 그러나 하나의 엄격한 제한이 있습니다: 미성년자가 포함된 성적인 콘텐츠. 이는 항상 적용됩니다.

• 프롬프트에 미성년자 관련 콘텐츠가 있는지 확인.
• 다른 성인 주제에 대한 거부가 없습니다.
• 특정 사용 사례에 적합한지 출력을 검증합니다.

이로 인해 이 모델은 창작 글쓰기와 성인 콘텐츠에 이상적입니다. 갑작스러운 거절에 대해 걱정할 필요가 없습니다.

uncensored"가 "필터링 없음"을 의미하지는 않습니다. 모델은 여전히 저품질이거나 관련성이 없는 콘텐츠를 생성할 수 있습니다. 출력물에 대한 사후 처리가 필요할 수 있습니다.

콘텐츠 경계를 직접 정의하세요. API는 경계 제한만 적용합니다.

이것은 유연성을 제공하지만 책임도 따릅니다. 대상 청중을 위해 출력을 검증하세요. 필요시 간단한 키워드 필터를 사용하세요.

이 모델은 합법적인 성인용으로 최적화되었습니다. 어린이에게 적합함을 보장하지는 않습니다. 타겟 오디언스를 명확히 하세요. 이는 예상치 못한 불만을 피하는 데 도움이 됩니다. 이 API는 무엇을 원하는지 아는 개발자를 위해 설계되었습니다.

8. Optimize Prompt Structure for Length

프롬프트 구조는 성능과 비용 모두에 영향을 미칩니다. 긴 프롬프트는 더 많은 토큰을 소모하고 지연 시간을 증가시킵니다. 가능하면 프롬프트를 더 작은 청크로 분할하세요.

• 시스템 프롬프트를 간결하게 유지하세요.
• few-shot 예시를 신중하게 사용하세요.
• 불필요한 공백을 제거합니다.

uncensored 모델은 긴 프롬프트를 잘 처리하지만 100k 토큰 윈도우의 제한을 받습니다. 토큰 예산을 신중하게 계획하세요.

temperature 매개변수를 사용하여 창의성을 조절하세요. 낮은 temperature는 더 결정론적인 출력을 생성합니다. 이는 함수 호출 및 JSON 모드에 유용합니다.

다양한 프롬프트 구조를 테스트하세요. 작은 변경으로도 출력 품질이 크게 향상될 수 있습니다.

이것은 프롬프트 엔지니어링의 핵심 부분입니다. 모델은 유연하지만 명확한 지시가 필요합니다. 모델을 안내하기 위해 컨텍스트와 예시를 제공하세요.

각 요청의 토큰 사용량을 모니터링하세요. 이는 비효율적인 프롬프트를 식별하는 데 도움이 됩니다. 속도와 비용 모두를 위해 최적화하세요. API 가격 정책은 투명하므로 각 프롬프트의 정확한 비용을 계산할 수 있습니다. 이를 통해 효율적으로 확장할 수 있습니다.

9. 대표적 Uncensored 프롬프트로 테스트

테스트는 배포 전 마지막 단계입니다. 실제 사용 사례를 반영하는 프롬프트를 사용하세요. 표준 및 예외 케이스 모두에 대해 테스트하세요.

• 다양한 유형의 프롬프트를 보내세요.
• 응답의 일관성 확인.
• 오류 처리를 검증합니다.

uncensored 모델은 광범위한 주제를 처리해야 합니다. 거부가 발생하지 않도록 논쟁적이거나 성인 테마로 테스트하세요.

함수 호출과 JSON 모드로도 테스트하십시오. 출력이 구문 분석 가능하고 정확한지 확인하십시오. 이 포괄적인 테스트는 원활한 출시를 보장합니다.

실제 데이터로 테스트하세요. 합성 데이터는 모든 문제를 드러내지 않을 수 있습니다.

이것은 버그를 조기에 발견하는 가장 좋은 방법입니다. API는 신뢰할 수 있지만 코드에 문제가 있을 수 있습니다. 통합을 끝에서 끝까지 검증하십시오.

철저하게 테스트하기 위해 트라이얼 크레딧을 사용하세요. 7일 동안 $0.50의 크레딧이 제공됩니다. 이는 대부분의 시나리오를 테스트하기에 충분합니다. Google 또는 이메일로 가입하여 시작하세요. 이를 통해 커밋 전에 통합을 쉽게 검증할 수 있습니다.