Ceklis Produksi Dolphin ai

1. Verifikasi Kompatibilitas Endpoint OpenAI-Compatible

Mulai dengan mengonfirmasi bahwa struktur endpoint sesuai dengan format chat-completions OpenAI standar. API kami mematuhi skema ini secara ketat, sehingga Anda dapat menggunakan SDK yang ada tanpa menulis pembungkus kustom. URL dasar adalah HTTPS://api.dolphinmodelos.com/v1, dan Anda harus mengatur id model menjadi "uncensored" dalam setiap permintaan. Ini memastikan Anda mencapai mesin inferensi uncensored yang didedikasikan, bukan agregator yang dialihkan.

• Gunakan SDK Python atau Node.js resmi OpenAI.
• Timpa URL dasar untuk mengarah ke endpoint kami.
• Masukkan kunci API Anda di header Authorization.

Pendekatan ini menghilangkan kebutuhan logika spesifik vendor. Anda terhubung langsung ke model bahasa besar uncensored. Respons akan mengikuti struktur JSON standar. Tidak ada logika routing tersembunyi atau bidang milik sendiri yang akan merusak parser Anda.

Verifikasi base URL sebelum skala. Perubahan karakter tunggal dapat merusak integrasi Anda.

Kompatibilitas ini berarti Anda dapat mengganti dengan model lain nanti jika diperlukan, tetapi saat ini, Anda mendapatkan inferensi uncensored murni. Titik akhir ini dirancang untuk pengembang yang menginginkan respons yang dapat diprediksi dan sesuai skema. Model ini tidak menawarkan embedding atau pembuatan gambar, jadi fokuskan payload Anda pada teks.

Periksa endpoint GET /v1/models untuk mengonfirmasi bahwa id model terdaftar sebagai "uncensored". Ini adalah jangkar utama Anda untuk semua panggilan selanjutnya.

2. Terapkan Penanganan Error Streaming yang Kuat

Stream error adalah titik kegagalan paling umum dalam integrasi LLM produksi. Anda harus menangani stream Server-Sent Events (SSE) dengan hati-hati. Chunk terakhir berisi data penggunaan token, tetapi error juga dapat muncul di chunk sebelumnya.

• Dengarkan tipe peristiwa "error".
• Parse chunk terakhir untuk statistik penggunaan.
• Tangani timeout jaringan dengan anggun.

Jangan mengasumsikan stream akan selalu berhasil sepenuhnya. Kesalahan 500 mungkin mengganggu stream di tengah jalan. Kode Anda harus mencoba lagi atau memberi tahu pengguna sesuai dengan situasi.

Streaming via SSE memungkinkan latensi lebih rendah, tetapi memerlukan penanganan kesalahan yang kuat. Jika koneksi terputus, Anda kehilangan respons parsial. Simpan status terakhir yang diketahui sebelum menyambung ulang. Ini sangat penting untuk model uncensored, yang mungkin menghasilkan output yang lebih panjang atau lebih bervariasi.

Jangan pernah mengabaikan potongan akhir. Itu berisi jumlah token yang dapat ditagih.

Terapkan batas waktu 30 detik untuk setiap potongan. Jika potongan memakan waktu lebih lama, asumsikan koneksi telah mati. Ini mencegah aplikasi Anda menggantung secara tak terbatas. API tidak menjamin latensi tertentu, jadi bangun ketahanan.

Gunakan SDK resmi yang menangani sebagian besar ini secara otomatis. Tetapi jika Anda menulis panggilan HTTP mentah, uraikan format SSE secara manual. Cari awalan "data:" dan uraikan JSON.

3. Kelola Jendela Konteks dan Batas Token

Jendela konteks dibatasi hingga 100.000 token untuk prompt dan completion yang digabungkan. Ini adalah batas keras untuk model uncensored. Jika input Anda melebihi ini, API akan mengembalikan error.

• Hitung jumlah token sebelum mengirim.
• Pantau panjang prompt dengan hati-hati.
• Atur batas max_tokens untuk output.

Output maksimum per permintaan adalah 16.000 token. Jika Anda tidak mengatur max_tokens, nilai defaultnya adalah 2.048 token. Ini adalah nilai default yang aman untuk sebagian besar kasus penggunaan.

Namun, untuk konten panjang, Anda perlu meningkatkan batas ini. Perhatikan bahwa output yang lebih panjang mengonsumsi lebih banyak kredit. Harganya adalah $0.15 per 1M token input dan $0.50 per 1M token output. Penetapan harga ini transparan dan dapat diprediksi.

Hitung penggunaan token Anda sebelum mengirim prompt besar. Prompt 50k token menyisakan hanya 50k untuk output.

Saldo ini sangat penting untuk menjaga kualitas layanan. Jika Anda membutuhkan konteks lebih banyak, pertimbangkan untuk memecah input Anda. Jangan mengandalkan API untuk memotong secara otomatis. API akan menghasilkan error jika Anda melebihi batas.

Batas ini berlaku untuk jumlah token total, bukan hanya karakter. Gunakan perpustakaan tokenizer untuk mendapatkan hitungan yang akurat. Ini memastikan Anda tetap dalam batas anggaran dan kinerja.

4. Konfigurasi Function Calling untuk Penggunaan Alat

Pemanggilan fungsi memungkinkan aplikasi Anda berinteraksi dengan API eksternal melalui LLM. API mendukung parameter tools dan tool_choice. Ini penting untuk membangun alur kerja agentic.

• Tentukan skema fungsi Anda dalam permintaan.
• Atur tool_choice menjadi "auto" atau "required".
• Parse argumen panggilan fungsi dengan hati-hati.

Model uncensored disetel untuk mengikuti instruksi dengan tepat. Ini berarti model ini jarang menolak panggilan alat yang valid. Namun, Anda harus memvalidasi output. Model ini mungkin menghasilkan JSON yang sedikit tidak valid.

Selalu validasi argumen fungsi sebelum mengeksekusinya. Ini mencegah kesalahan di layanan downstream Anda. API mengembalikan panggilan fungsi dalam format OpenAI standar. Anda dapat menguraikannya menggunakan SDK resmi.

Uji pemanggilan fungsi dengan kasus tepi. Model mungkin menghasilkan argumen jika tidak dibatasi.

Ini adalah fitur dari model tanpa sensor. Mereka lebih fleksibel, tetapi memerlukan lebih banyak validasi. Atur suhu ke nilai yang lebih rendah untuk penggunaan alat yang konsisten. Ini mengurangi kemungkinan argumen yang di-hallucinate.

Gunakan mode JSON untuk batasan output yang lebih ketat lagi. Ini memastikan model hanya mengembalikan JSON yang valid. Ini adalah kombinasi yang kuat untuk otomatisasi yang andal.

5. Validasi Batasan Mode JSON

Mode JSON memastikan model mengembalikan objek JSON yang valid. Ini sangat penting untuk parsing respons di kode Anda. Tetapkan parameter response_format menjadi {"type": "json_object"}.

• Aktifkan mode JSON untuk data terstruktur.
• Validkan output sebelum parsing.
• Tangani kesalahan penguraian dengan anggun.

Model uncensored menghormati batasan ini dengan baik. Model ini tidak akan menambahkan markdown atau teks tambahan di luar JSON. Ini membuat parsing andal dan cepat.

Namun, mode JSON terkadang dapat mengurangi kreativitas model. Ini memaksa model tetap berada dalam skema. Ini adalah trade-off yang harus Anda pertimbangkan. Untuk ekstraksi data yang ketat, ini ideal. Untuk penulisan kreatif, ini mungkin terasa membatasi.

Selalu validasi JSON sebelum menggunakannya. Satu kesalahan sintaksis dapat merusak aplikasi Anda.

Gunakan validator JSON di pipeline Anda. Ini menangkap kesalahan lebih awal. API tidak menjamin JSON yang sempurna, tetapi sangat andal.

Gabungkan mode JSON dengan pemanggilan fungsi untuk presisi maksimal. Ini memastikan model mengembalikan persis apa yang Anda harapkan. Ini adalah alat yang kuat untuk membangun aplikasi AI yang andal.

6. Pantau Batas Kecepatan dan Konkurensi

API menerapkan batas laju ketat untuk memastikan penggunaan yang adil. Anda dibatasi hingga 300 permintaan per menit per kunci. Selain itu, Anda dapat memiliki 8 permintaan konkurensi pada satu waktu.

• Pantau jumlah permintaan Anda per menit.
• Batasi permintaan konkuren menjadi 8.
• Tangani kesalahan 429 Terlalu Banyak Permintaan.

Jika Anda melebihi batas ini, API akan mengembalikan error 429. Anda harus menerapkan backoff eksponensial dalam logika percobaan ulang Anda.

Ini sangat penting untuk sistem produksi. Lonjakan lalu lintas mendadak dapat membanjiri aplikasi Anda jika tidak dikelola. Batas badan permintaan 8 MB juga penting. Payload besar dapat mencapai batas ini dengan cepat.

Terapkan pemutus sirkuit untuk kesalahan batas kecepatan. Ini mencegah kegagalan berantai.

Ini memastikan aplikasi Anda tetap stabil. API tidak menawarkan toleransi lonjakan, jadi rencanakan lalu lintas Anda sesuai.

Gunakan satu kunci API per akun. Jika Anda membutuhkan lebih banyak konkurensi, Anda dapat menghasilkan kunci baru, tetapi itu akan menggantikan kunci lama. Ini adalah batasan sederhana tetapi efektif. Pantau penggunaan Anda melalui potongan terakhir stream. Ini memberikan umpan balik waktu nyata tentang konsumsi token Anda.

7. Pastikan Keselarasan Kebijakan Konten

Model tanpa sensor tidak menolak sebagian besar topik dewasa atau kontroversial. Namun, ada satu batas keras: konten seksual yang melibatkan anak di bawah umur. Hal ini selalu diterapkan.

• Periksa konten terkait minor dalam prompt Anda.
• Diharapkan tidak ada penolakan untuk topik dewasa lainnya.
• Validasi output untuk kasus penggunaan spesifik Anda.

Hal ini membuat model sangat ideal untuk penulisan kreatif dan konten dewasa. Anda tidak perlu khawatir tentang penolakan mendadak.

Namun, "tanpa sensor" tidak berarti "tanpa filter". Model masih dapat menghasilkan konten berkualitas rendah atau tidak relevan. Anda mungkin perlu memproses ulang output.

Tentukan batas konten Anda sendiri. API hanya memberlakukan batas minor.

Ini memberi Anda fleksibilitas tetapi juga tanggung jawab. Validasi output untuk audiens Anda. Gunakan filter kata kunci sederhana jika diperlukan.

Model ini disesuaikan untuk penggunaan dewasa yang sah. Model ini tidak menjamin kesesuaian untuk anak-anak. Pastikan Anda memahami audiens target Anda. Hal ini memastikan Anda menghindari keluhan yang tidak terduga. API ini dirancang untuk pengembang yang mengetahui apa yang mereka inginkan.

8. Optimalkan Struktur Prompt untuk Panjang

Struktur prompt memengaruhi kinerja dan biaya. Prompt panjang mengonsumsi lebih banyak token dan meningkatkan latensi. Pecah prompt Anda menjadi bagian-bagian yang lebih kecil jika memungkinkan.

• Jaga prompt sistem agar ringkas.
• Gunakan contoh few-shot secara hemat.
• Hapus spasi putih yang tidak perlu.

Model tanpa sensor menangani prompt panjang dengan baik, tetapi Anda dibatasi oleh jendela 100k token. Rencanakan anggaran token Anda dengan hati-hati.

Gunakan parameter temperature untuk mengendalikan kreativitas. Temperature yang lebih rendah menghasilkan output yang lebih deterministik. Ini berguna untuk pemanggilan fungsi dan mode JSON.

Uji struktur prompt berbeda. Perubahan kecil dapat secara signifikan meningkatkan kualitas output.

Ini adalah bagian penting dari rekayasa prompt. Modelnya fleksibel, tetapi membutuhkan instruksi yang jelas. Berikan konteks dan contoh untuk memandu model.

Pantau penggunaan token dalam setiap permintaan. Ini membantu Anda mengidentifikasi prompt yang tidak efisien. Optimalkan untuk kecepatan dan biaya. Harga API transparan, sehingga Anda dapat menghitung biaya tepat dari setiap prompt. Ini memungkinkan Anda untuk skala secara efisien.

9. Uji dengan Prompt Uncensored yang Representatif

Pengujian adalah langkah terakhir sebelum deployment. Gunakan prompt yang mencerminkan kasus penggunaan aktual Anda. Uji untuk kasus standar dan kasus tepi.

• Kirim berbagai jenis prompt.
• Periksa konsistensi respons.
• Validasi penanganan kesalahan.

Model uncensored harus menangani berbagai topik. Uji dengan tema kontroversial atau dewasa untuk memastikan tidak ada penolakan.

Juga uji dengan panggilan fungsi dan mode JSON. Pastikan output dapat diuraikan dan benar. Pengujian komprehensif ini memastikan peluncuran yang lancar.

Uji dengan data aktual Anda. Data sintetis mungkin tidak mengungkapkan semua masalah.

Ini adalah cara terbaik untuk menemukan bug sejak dini. API ini andal, tetapi kode Anda mungkin memiliki masalah. Verifikasi integrasi secara end-to-end.

Gunakan kredit percobaan untuk menguji secara menyeluruh. Ini memberi Anda kredit senilai $0.50 selama 7 hari. Ini cukup untuk menguji sebagian besar skenario. Daftar dengan Google atau email untuk memulai. Ini memudahkan untuk memvalidasi integrasi Anda sebelum berkomitmen.