چک‌لیست تولید Dolphin ai

۱. سازگاری اندپوینت‌های سازگار با OpenAI را تأیید کنید

ابتدا تأیید کنید که ساختار نقطه پایانی با فرمت استاندارد chat-completions OpenAI مطابقت دارد. API ما به شدت از این طرح پیروی می‌کند، بنابراین می‌توانید از SDKهای موجود بدون نوشتن بسته‌های سفارشی استفاده کنید. URL پایه HTTPS://api.dolphinmodelos.com/v1 است و باید شناسه مدل را در هر درخواست روی "uncensored" تنظیم کنید. این تضمین می‌کند که به موتور استنتاج uncensored اختصاصی متصل می‌شوید، نه یک تجمیع‌کننده مسیریابی‌شده.

• از SDKهای رسمی پایتون یا Node.js OpenAI استفاده کنید.
• URL پایه را برای اشاره به نقطه پایانی ما بازنویسی کنید.
• کلید API خود را در هدر Authorization ارسال کنید.

این رویکرد نیاز به منطق خاص فروشنده را حذف می‌کند. شما مستقیماً به یک مدل زبانی بزرگ بدون سانسور متصل می‌شوید. پاسخ از ساختار JSON استاندارد پیروی خواهد کرد. هیچ منطق مسیریابی پنهان یا فیلدهای اختصاصی وجود ندارد که پارسر شما را خراب کند.

URL پایه را پیش از مقیاس‌دهی بررسی کنید. یک تغییر کاراکتر می‌تواند یکپارچه‌سازی شما را خراب کند.

این سازگاری به این معنی است که می‌توانید بعداً مدل‌های دیگری را جایگزین کنید، اما در حال حاضر، استنتاج خالص و uncensored دریافت می‌کنید. endpoint برای توسعه‌دهندگانی طراحی شده که به پاسخ‌های قابل پیش‌بینی و مطابقت‌یافته با schema نیاز دارند. این endpoint توابع embedding یا تولید تصویر ارائه نمی‌دهد، بنابراین پیکربندی خود را بر روی متن متمرکز نگه دارید.

نقطه پایانی GET /v1/models را بررسی کنید تا تأیید کنید که شناسه مدل به عنوان "uncensored" فهرست شده است. این لنگر اصلی شما برای تمام تماس‌های بعدی است.

۲. پیاده‌سازی مدیریت خطای استریم قوی

خطاهای جریان رایج‌ترین نقطه شکست در یکپارچه‌سازی LLM در محیط تولید هستند. شما باید با جریان رویدادهای ارسالی سرور (SSE) به‌دقت برخورد کنید. قطعه نهایی داده‌های مصرف توکن را شامل می‌شود، اما خطاها نیز می‌توانند در قطعات قبلی ظاهر شوند.

• Listen for the "error" event type.
• قطعه نهایی را برای آمار مصرف تجزیه کنید.
• زمان‌های انتظار شبکه را به‌صورت ایمن مدیریت کنید.

فرض نکنید که استریم همیشه با موفقیت کامل می‌شود. یک خطای 500 ممکن است استریم را در میانه قطع کند. کد شما باید مجدداً تلاش کند یا کاربر را مطابق با آن مطلع کند.

استریمینگ از طریق SSE می‌تواند تأخیر کمتری ایجاد کند، اما مدیریت خطای قوی‌تری نیاز دارد. اگر اتصال قطع شود، پاسخ جزئی از دست می‌رود. آخرین وضعیت شناخته شده را قبل از اتصال مجدد ذخیره کنید. این موضوع برای مدل‌های بدون سانسور که ممکن است خروجی‌های طولانی‌تر یا متنوع‌تری تولید کنند، حیاتی است.

هرگز قطعه نهایی را نادیده نگیرید. این شمارش توکن‌های قابل‌فاکتور را شامل می‌شود.

برای هر بخش یک زمان‌سنج 30 ثانیه‌ای پیاده‌سازی کنید. اگر یک بخش زمان بیشتری طول بکشد، فرض کنید اتصال مرده است. این از گیر کردن برنامه شما به‌طور نامحدود جلوگیری می‌کند. API تأخیر خاصی را تضمین نمی‌کند، بنابراین تاب‌آوری بسازید.

از SDKهای رسمی که بیشتر این کارها را به‌طور خودکار انجام می‌دهند استفاده کنید. اما اگر درخواست‌های HTTP خام می‌نویسید، فرمت SSE را به‌صورت دستی تجزیه کنید. به پیشوند "data:" توجه کنید و JSON را تجزیه کنید.

۳. مدیریت پنجره زمینه و محدودیت‌های توکن

پنجره زمینه برای ترکیب ورودی و خروجی به ۱۰۰,۰۰۰ توکن محدود است. این یک محدودیت سخت برای مدل uncensored است. اگر ورودی شما از این تجاوز کند، API خطا برمی‌گرداند.

• تعداد توکن‌ها را قبل از ارسال محاسبه کنید.
• طول پرامپت را با دقت پایش کنید.
• یک محدودیت max_tokens برای خروجی تنظیم کنید.

حداکثر خروجی در هر درخواست ۱۶,۰۰۰ توکن است. اگر max_tokens را تنظیم نکنید، پیش‌فرض آن ۲,۰۴۸ توکن است. این یک پیش‌فرض ایمن برای بیشتر موارد استفاده است.

با این حال، برای تولید محتوای طولانی‌تر، باید این محدودیت را افزایش دهید. توجه داشته باشید که خروجی‌های طولانی‌تر اعتبار بیشتری مصرف می‌کنند. قیمت‌گذاری ۰.۱۵ دلار به ازای هر ۱ میلیون توکن ورودی و ۰.۵۰ دلار به ازای هر ۱ میلیون توکن خروجی است. این قیمت‌گذاری شفاف و قابل پیش‌بینی است.

مصرف توکن خود را قبل از ارسال پرامپت‌های بزرگ محاسبه کنید. یک پرامپت 50k توکنی فقط 50k توکن برای خروجی باقی می‌گذارد.

این موجودی برای حفظ کیفیت سرویس حیاتی است. اگر به زمینه بیشتری نیاز دارید، ورودی خود را به قطعات تقسیم کنید. به API برای کوتاه کردن خودکار تکیه نکنید. اگر از حد مجاز تجاوز کنید، خطا می‌دهد.

این محدودیت به کل تعداد توکن‌ها اعمال می‌شود، نه فقط کاراکترها. از یک کتابخانه توکن‌شمار برای دریافت شمارش دقیق استفاده کنید. این تضمین می‌کند که در حدود بودجه و آستانه‌های عملکرد باقی بمانید.

۴. پیکربندی Function Calling برای استفاده از ابزارها

فراخوانی تابع به برنامه شما امکان تعامل با APIهای خارجی از طریق LLM را می‌دهد. API از پارامترهای tools و tool_choice پشتیبانی می‌کند. این برای ساخت جریان‌های کاری عامل‌محور ضروری است.

• اسکیماهای تابع خود را در درخواست تعریف کنید.
• tool_choice را روی "auto" یا "required" تنظیم کنید.
• آرگومان‌های فراخوانی تابع را با دقت تجزیه کنید.

مدل بدون سانسور برای دنبال کردن دقیق دستورات تنظیم شده است. این بدان معناست که به ندرت یک فراخوانی ابزار معتبر را رد خواهد کرد. با این حال، شما باید خروجی را اعتبارسنجی کنید. مدل ممکن است JSON کمی نامنظم تولید کند.

هملاً استدلال‌های تابع را قبل از اجرای آن‌ها اعتبارسنجی کنید. این از خطاها در خدمات downstream شما جلوگیری می‌کند. API تماس تابع را در قالب استاندارد OpenAI برمی‌گرداند. می‌توانید این را با استفاده از SDKهای رسمی تجزیه کنید.

تست فراخوانی تابع با موارد حاشیه‌ای. ممکن است مدل در صورت عدم محدودیت، آرگومان‌ها را اختراع کند.

این یک ویژگی از مدل‌های بدون سانسور است. آن‌ها انعطاف‌پذیرتر هستند، اما اعتبارسنجی بیشتری نیاز دارند. دما را به یک مقدار پایین‌تر تنظیم کنید تا استفاده از ابزارها ثابت باشد. این احتمال استدلال‌های توهمی را کاهش می‌دهد.

از حالت JSON برای محدودیت‌های خروجی حتی سخت‌گیرانه‌تر استفاده کنید. این تضمین می‌کند که مدل فقط JSON معتبر را برمی‌گرداند. این ترکیبی قدرتمند برای اتوماسیون قابل اعتماد است.

۵. اعتبارسنجی محدودیت‌های حالت JSON

حالت JSON تضمین می‌کند که مدل یک شیء JSON معتبر برمی‌گرداند. این مورد برای تجزیه پاسخ در کد شما حیاتی است. پارامتر response_format را روی {"type": "json_object"} تنظیم کنید.

• برای داده‌های ساختاریافته حالت JSON را فعال کنید.
• خروجی را قبل از تجزیه اعتبارسنجی کنید.
• خطاهای تجزیه را به‌صورت ایمن مدیریت کنید.

مدل بدون سانسور این محدودیت را به خوبی رعایت میکند. این مدل مارک‌داون یا متن اضافی خارج از JSON اضافه نمیکند. این باعث میشود پردازش قابل اعتماد و سریع باشد.

با این حال، حالت JSON گاهی اوقات خلاقیت مدل را کاهش می‌دهد. این حالت مدل را مجبور می‌کند در چارچوب طرحواره باقی بماند. این یک مبادله است که باید در نظر بگیرید. برای استخراج داده‌های دقیق، ایده‌آل است. برای نویسندگی خلاق، ممکن است محدودکننده به نظر برسد.

همیشه JSON را قبل از استفاده اعتبارسنجی کنید. یک خطای سینتکس واحد می‌تواند برنامه شما را خراب کند.

از یک اعتبارسنج JSON در پایپ‌لاین خود استفاده کنید. این کار خطاها را زودتر تشخیص می‌دهد. API تضمین‌کننده JSON کامل نیست، اما بسیار قابل اعتماد است.

حالت JSON را با فراخوانی تابع برای دقت حداکثری ترکیب کنید. این تضمین می‌کند که مدل دقیقاً همان چیزی را برمی‌گرداند که انتظار دارید. این یک ابزار قدرتمند برای ساخت برنامه‌های هوش مصنوعی قابل اعتماد است.

۶. پایش محدودیت‌های نرخ و همزمانی

API محدودیت‌های نرخ سخت‌گیرانه‌ای را برای تضمین استفاده عادلانه اعمال می‌کند. شما به ۳۰۰ درخواست در دقیقه در هر کلید محدود هستید. علاوه بر این، می‌توانید ۸ درخواست همزمان در یک زمان داشته باشید.

• تعداد درخواست‌های خود در دقیقه را پایش کنید.
• محدودیت درخواست‌های همزمان به ۸.
• خطاهای ۴۲۹ Too Many Requests را مدیریت کنید.

اگر از این محدودیت‌ها تجاوز کنید، API خطای ۴۲۹ را برمی‌گرداند. باید بازگشت نمایی را در منطق تلاش مجدد خود پیاده‌سازی کنید.

این برای سیستم‌های تولید حیاتی است. یک افزایش ناگهانی در ترافیک می‌تواند برنامه شما را در صورت مدیریت نشدن، فلج کند. محدودیت بدنه درخواست ۸ مگابایتی نیز مهم است. پیکربندی‌های بزرگ می‌توانند به سرعت به این محدودیت برسند.

یک شکست‌دهنده مدار (circuit breaker) برای خطاهای محدودیت نرخ پیاده‌سازی کنید. این از شکست‌های زنجیره‌ای جلوگیری می‌کند.

این امر پایداری برنامه شما را تضمین می‌کند. API اجازه‌های باurst ارائه نمی‌دهد، بنابراین ترافیک خود را به طور مناسب برنامه‌ریزی کنید.

از یک کلید API واحد برای هر حساب استفاده کنید. اگر به همزمانی بیشتری نیاز دارید، می‌توانید یک کلید جدید تولید کنید، اما کلید قبلی را جایگزین می‌کند. این یک محدودیت ساده اما مؤثر است. مصرف خود را از طریق آخرین قطعه جریان پایش کنید. این بازخورد بلادرنگی درباره مصرف توکن‌های شما ارائه می‌دهد.

۷. اطمینان از همسویی با سیاست‌های محتوا

مدل بدون سانسور، بیشتر موضوعات بزرگسالان یا بحث‌برانگیز را رد نمی‌کند. با این حال، یک محدودیت سخت وجود دارد: محتوای جنسی مرتبط با کودکان. این همیشه اعمال می‌شود.

• بررسی برای محتوای مرتبط با کودکان در پرامپت‌های خود.
• انتظار هیچ رد شدن برای موضوعات دیگر بزرگسالان وجود ندارد.
• خروجی را برای مورد استفاده خاص خود اعتبارسنجی کنید.

این ویژگی، مدل را برای نویسندگی خلاقانه و محتوای بزرگسالان ایده‌آل می‌کند. نیازی نیست نگران ردشدن‌های ناگهانی باشید.

با این حال، «بدون سانسور» به معنای «بدون فیلتر» نیست. مدل ممکن است همچنان محتوای کم‌کیفیت یا نامرتبط تولید کند. ممکن است نیاز باشد خروجی را پس‌پردازش کنید.

مرزهای محتوای خود را تعریف کنید. API فقط محدودیت جزئی را اعمال می‌کند.

این به شما انعطاف‌پذیری می‌دهد اما همچنین مسئولیت. خروجی را برای مخاطبان خود اعتبارسنجی کنید. در صورت نیاز از یک فیلتر کلمه کلیدی ساده استفاده کنید.

مدل برای استفاده قانونی بزرگسالان بهینه‌سازی شده است. این مدل تضمین نمی‌کند که برای کودکان مناسب باشد. درباره مخاطب هدف خود شفاف باشید. این موضوع از شکایت‌های غیرمنتظره جلوگیری می‌کند. API برای توسعه‌دهندگانی طراحی شده است که می‌دانند چه می‌خواهند.

۸. بهینه‌سازی ساختار پرامپت برای طول

ساختار پرامپت بر عملکرد و هزینه تأثیر می‌گذارد. پرامپت‌های طولانی توکن‌های بیشتری مصرف کرده و تأخیر را افزایش می‌دهند. پرامپت‌های خود را تا حد امکان به قطعات کوچک‌تر تقسیم کنید.

• پرامپت‌های سیستم را مختصر نگه دارید.
• از مثال‌های چند-نمونه‌ای به‌طور محدود استفاده کنید.
• حذف فاصله‌های اضافی غیرضروری.

مدل بدون سانسور پرامپت‌های طولانی را خوب مدیریت می‌کند، اما شما توسط پنجره 100k توکن محدود هستید. بودجه توکن خود را با دقت برنامه‌ریزی کنید.

از پارامتر temperature برای کنترل خلاقیت استفاده کنید. دمای پایین‌تر خروجی‌های قطعی‌تری تولید می‌کند. این برای فراخوانی تابع و حالت JSON مفید است.

ساختارهای مختلف پرس‌وجو را تست کنید. تغییرات کوچک می‌تواند کیفیت خروجی را به طور قابل توجهی بهبود بخشد.

این بخش مهمی از مهندسی پرامپت است. مدل انعطاف‌پذیر است، اما به دستورالعمل‌های واضح نیاز دارد. زمینه و مثال‌ها را برای هدایت مدل ارائه دهید.

مصرف توکن را در هر درخواست پایش کنید. این به شما کمک می‌کند پرامپت‌های ناکارآمد را شناسایی کنید. برای سرعت و هزینه بهینه‌سازی کنید. قیمت‌گذاری API شفاف است، بنابراین می‌توانید هزینه دقیق هر پرامپت را محاسبه کنید. این به شما امکان می‌دهد تا به‌طور کارآمد مقیاس‌پذیری داشته باشید.

۹. با پرامپت‌های واقعی Uncensored آزمایش کنید

تست آخرین مرحله قبل از استقرار است. از پرامپت‌هایی استفاده کنید که موارد استفاده واقعی شما را منعکس می‌کنند. برای موارد استاندارد و لبه‌ای تست کنید.

• مجموعه‌ای از انواع پرامپت‌ها ارسال کنید.
• بررسی برای ثبات در پاسخ‌ها.
• مدیریت خطا را اعتبارسنجی کنید.

مدل بدون سانسور باید طیف وسیعی از موضوعات را مدیریت کند. با موضوعات بحث‌برانگیز یا بزرگسالان آزمایش کنید تا اطمینان حاصل کنید که ردی وجود ندارد.

همچنین با فراخوانی توابع (function calls) و حالت JSON آزمایش کنید. اطمینان حاصل کنید که خروجی قابل تجزیه و صحیح است. این آزمایش جامع، راه‌اندازی روان را تضمین می‌کند.

با داده‌های واقعی خود تست کنید. داده‌های مصنوعی ممکن است همه مشکلات را آشکار نکنند.

این بهترین راه برای تشخیص باگ‌ها در مراحل اولیه است. API قابل اعتماد است، اما کد شما ممکن است مشکلاتی داشته باشد. یکپارچه‌سازی را به صورت سرتاسری بررسی کنید.

از اعتبار آزمایشی برای آزمایش دقیق استفاده کنید. این به شما $0.50 اعتبار به مدت 7 روز می‌دهد. این برای آزمایش بیشتر موارد کافی است. برای شروع با Google یا ایمیل ثبت‌نام کنید. این اعتبار سنجی یکپارچه‌سازی شما را قبل از تعهد، آسان می‌سازد.