Danh sách kiểm tra sản xuất Dolphin ai

1. Xác minh tương thích điểm cuối tương thích OpenAI

Bắt đầu bằng cách xác nhận cấu trúc điểm cuối khớp với định dạng chat-completions tiêu chuẩn của OpenAI. API của chúng tôi tuân thủ nghiêm ngặt lược đồ này, vì vậy bạn có thể sử dụng các SDK hiện có mà không cần viết các lớp bọc tùy chỉnh. URL cơ sở là HTTPS://api.dolphinmodelos.com/v1, và bạn phải đặt id mô hình thành "uncensored" trong mọi yêu cầu. Điều này đảm bảo bạn đang truy cập vào động cơ suy luận không kiểm duyệt chuyên dụng thay vì bộ tổng hợp được định tuyến.

• Sử dụng các SDK Python hoặc Node.js chính thức của OpenAI.
• Ghi đè URL cơ sở để trỏ đến điểm cuối của chúng tôi.
• Đặt khóa API của bạn trong tiêu đề Authorization.

Phương pháp này loại bỏ nhu cầu về logic cụ thể của nhà cung cấp. Bạn đang kết nối trực tiếp với một mô hình ngôn ngữ lớn không kiểm duyệt. Phản hồi sẽ tuân theo cấu trúc JSON tiêu chuẩn. Không có logic định tuyến ẩn hoặc các trường độc quyền sẽ làm hỏng trình phân tích cú pháp của bạn.

Xác minh URL cơ bản trước khi mở rộng. Một ký tự thay đổi đơn lẻ có thể làm hỏng tích hợp của bạn.

Tính tương thích này có nghĩa là bạn có thể thay thế bằng các mô hình khác sau này nếu cần, nhưng hiện tại, bạn nhận được suy luận thuần túy, không bị lọc. Điểm cuối được thiết kế cho các nhà phát triển muốn có các phản hồi dự đoán được, tuân thủ schema. Nó không cung cấp embeddings hoặc tạo hình ảnh, vì vậy hãy giữ trọng tâm payload của bạn vào văn bản.

Kiểm tra điểm cuối GET /v1/models để xác nhận ID mô hình được liệt kê là "uncensored". Đây là neo chính của bạn cho tất cả các lệnh gọi tiếp theo.

2. Triển khai xử lý lỗi streaming mạnh mẽ

Lỗi luồng là điểm thất bại phổ biến nhất trong các tích hợp LLM sản xuất. Bạn phải xử lý luồng Sự kiện gửi bởi máy chủ (SSE) một cách cẩn thận. Chunk cuối cùng chứa dữ liệu sử dụng token, nhưng lỗi cũng có thể xuất hiện trong các chunk trước đó.

• Lắng nghe loại sự kiện "error".
• Phân tích chunk cuối cùng để lấy thống kê sử dụng.
• Xử lý thời gian chờ mạng một cách khéo léo.

Đừng giả sử luồng sẽ luôn hoàn thành thành công. Lỗi 500 có thể làm gián đoạn luồng ở giữa đường. Mã của bạn nên thử lại hoặc thông báo cho người dùng tương ứng.

Streaming qua SSE cho phép độ trễ thấp hơn, nhưng yêu cầu xử lý lỗi mạnh mẽ. Nếu kết nối bị ngắt, bạn sẽ mất phản hồi một phần. Hãy lưu trạng thái cuối cùng đã biết trước khi kết nối lại. Điều này rất quan trọng đối với các mô hình không kiểm duyệt, vì chúng có thể tạo ra các đầu ra dài hơn hoặc đa dạng hơn.

Không bao giờ bỏ qua chunk cuối cùng. Chunk này chứa số lượng token có thể tính phí.

Triển khai thời gian chờ 30 giây cho mỗi chunk. Nếu một chunk mất nhiều thời gian hơn, hãy giả định kết nối đã chết. Điều này ngăn ứng dụng của bạn treo vô hạn. API không đảm bảo độ trễ cụ thể, vì vậy hãy xây dựng khả năng phục hồi.

Sử dụng các SDK chính thức xử lý hầu hết việc này tự động. Nhưng nếu bạn đang viết các lệnh gọi HTTP thô, hãy phân tích định dạng SSE thủ công. Tìm tiền tố "data:" và phân tích JSON.

3. Quản lý Cửa sổ ngữ cảnh và Giới hạn token

Cửa sổ ngữ cảnh bị giới hạn ở 100,000 token cho cả prompt và kết quả kết hợp. Đây là giới hạn cứng cho mô hình uncensored. Nếu đầu vào của bạn vượt quá giới hạn này, API sẽ trả về lỗi.

• Tính số lượng token trước khi gửi.
• Theo dõi cẩn thận độ dài prompt.
• Đặt giới hạn max_tokens cho đầu ra.

Tối đa 16.000 token đầu ra cho mỗi yêu cầu. Nếu bạn không đặt max_tokens, giá trị mặc định là 2.048 token. Đây là giá trị mặc định an toàn cho hầu hết các trường hợp sử dụng.

Tuy nhiên, đối với nội dung dài, bạn cần tăng giới hạn này. Lưu ý rằng các đầu ra dài hơn sẽ tiêu tốn nhiều tín dụng hơn. Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Mức giá này minh bạch và dễ dự đoán.

Tính toán việc sử dụng token trước khi gửi các lời nhắc lớn. Một lời nhắc 50k token chỉ còn lại 50k token cho phần đầu ra.

Số dư này rất quan trọng để duy trì chất lượng dịch vụ. Nếu bạn cần nhiều ngữ cảnh hơn, hãy xem xét việc chia nhỏ đầu vào của bạn. Đừng dựa vào API để tự động cắt ngắn. Nó sẽ báo lỗi nếu bạn vượt quá giới hạn.

Giới hạn này áp dụng cho tổng số token, không chỉ ký tự. Sử dụng thư viện tokenizer để có số đếm chính xác. Điều này đảm bảo bạn nằm trong ngân sách và ngưỡng hiệu suất.

4. Cấu hình Function Calling cho việc sử dụng công cụ

Gọi hàm cho phép ứng dụng của bạn tương tác với các API bên ngoài thông qua LLM. API hỗ trợ các tham số tools và tool_choice. Điều này rất cần thiết để xây dựng các quy trình làm việc dạng đại lý (agentic).

• Xác định các lược đồ hàm của bạn trong yêu cầu.
• Đặt tool_choice thành "auto" hoặc "required".
• Phân tích cẩn thận các đối số gọi hàm.

Mô hình không kiểm duyệt được tinh chỉnh để làm theo hướng dẫn một cách chính xác. Điều này có nghĩa là nó hiếm khi từ chối một lệnh gọi công cụ hợp lệ. Tuy nhiên, bạn phải xác minh đầu ra. Mô hình có thể tạo ra JSON bị lỗi nhẹ.

Luôn xác thực các đối số hàm trước khi thực thi chúng. Điều này ngăn ngừa lỗi trong các dịch vụ hạ lưu của bạn. API trả lời lệnh gọi hàm theo định dạng OpenAI tiêu chuẩn. Bạn có thể phân tích cú pháp điều này bằng các SDK chính thức.

Kiểm tra gọi hàm với các trường hợp biên. Mô hình có thể tạo ra các đối số nếu không được ràng buộc.

Đây là một tính năng của các mô hình không kiểm duyệt. Chúng linh hoạt hơn nhưng đòi hỏi nhiều xác thực hơn. Đặt nhiệt độ ở mức thấp hơn để sử dụng công cụ nhất quán. Điều này làm giảm khả năng xảy ra các đối số bị ảo giác.

Sử dụng chế độ JSON cho các ràng buộc đầu ra nghiêm ngặt hơn nữa. Điều này đảm bảo mô hình chỉ trả về JSON hợp lệ. Đây là sự kết hợp mạnh mẽ cho tự động hóa đáng tin cậy.

5. Xác nhận ràng buộc chế độ JSON

Chế độ JSON đảm bảo mô hình trả về một đối tượng JSON hợp lệ. Điều này rất quan trọng để phân tích cú pháp phản hồi trong mã của bạn. Đặt tham số response_format thành {"type": "json_object"}.

• Bật chế độ JSON cho dữ liệu có cấu trúc.
• Xác nhận đầu ra trước khi phân tích cú pháp.
• Xử lý lỗi phân tích một cách khéo léo.

Mô hình không kiểm duyệt tôn trọng ràng buộc này rất tốt. Nó sẽ không thêm markdown hoặc văn bản bổ sung bên ngoài JSON. Điều này giúp việc phân tích cú pháp đáng tin cậy và nhanh chóng.

Tuy nhiên, chế độ JSON đôi khi có thể làm giảm khả năng sáng tạo của mô hình. Nó buộc mô hình phải tuân thủ lược đồ. Đây là một sự đánh đổi bạn phải xem xét. Đối với việc trích xuất dữ liệu nghiêm ngặt, nó rất lý tưởng. Đối với viết sáng tạo, nó có thể cảm thấy hạn chế.

Luôn xác thực JSON trước khi sử dụng nó. Một lỗi cú pháp đơn lẻ có thể làm hỏng ứng dụng của bạn.

Sử dụng trình xác thực JSON trong quy trình của bạn. Điều này giúp bắt lỗi sớm. API không đảm bảo JSON hoàn hảo, nhưng rất đáng tin cậy.

Kết hợp chế độ JSON với gọi hàm để đạt độ chính xác tối đa. Điều này đảm bảo mô hình trả về chính xác những gì bạn mong đợi. Đây là một công cụ mạnh mẽ để xây dựng các ứng dụng AI đáng tin cậy.

6. Theo dõi giới hạn tốc độ và độ đồng thời

API áp dụng các giới hạn tốc độ nghiêm ngặt để đảm bảo sử dụng công bằng. Bạn được giới hạn ở 300 yêu cầu mỗi phút mỗi khóa. Ngoài ra, bạn có thể có 8 yêu cầu đồng bộ cùng lúc.

• Theo dõi số lượng yêu cầu của bạn mỗi phút.
• Giới hạn yêu cầu đồng thời ở mức 8.
• Xử lý lỗi 429 Quá nhiều Yêu cầu.

Nếu bạn vượt quá các giới hạn này, API sẽ trả về lỗi 429. Bạn nên triển khai cơ chế backoff theo cấp số nhân trong logic thử lại của mình.

Điều này rất quan trọng cho các hệ thống sản xuất. Một đợt tăng đột biến lưu lượng truy cập có thể làm quá tải ứng dụng của bạn nếu không được quản lý. Giới hạn kích thước yêu cầu 8 MB cũng rất quan trọng. Các tải trọng lớn có thể chạm vào giới hạn này nhanh chóng.

Triển khai công tắc mạch cho các lỗi giới hạn tốc độ. Điều này ngăn ngừa các lỗi lan truyền.

Điều này đảm bảo ứng dụng của bạn vẫn ổn định. API không cung cấp hạn mức burst, vì vậy hãy lập kế hoạch lưu lượng truy cập của bạn cho phù hợp.

Sử dụng một khóa API duy nhất cho mỗi tài khoản. Nếu bạn cần nhiều độ đồng thời hơn, bạn có thể tạo một khóa mới, nhưng nó sẽ thay thế khóa cũ. Đây là một giới hạn đơn giản nhưng hiệu quả. Theo dõi việc sử dụng của bạn thông qua chunk cuối cùng của stream. Điều này cung cấp cho bạn phản hồi theo thời gian thực về việc tiêu thụ token của bạn.

7. Đảm Bảo Sự Phù Hợp Với Chính Sách Nội Dung

Mô hình không kiểm duyệt không từ chối hầu hết các chủ đề người trưởng thành hoặc gây tranh cãi. Tuy nhiên, có một giới hạn cứng: nội dung tình dục liên quan đến trẻ vị thành niên. Điều này luôn được áp dụng.

• Kiểm tra nội dung liên quan đến trẻ vị thành niên trong các lời nhắc của bạn.
• Dự kiến không có từ chối cho các chủ đề người lớn khác.
• Xác thực đầu ra cho trường hợp sử dụng cụ thể của bạn.

Điều này khiến mô hình lý tưởng cho sáng tạo văn học và nội dung người lớn. Bạn không cần lo lắng về việc từ chối đột ngột.

Tuy nhiên, "không kiểm duyệt" không có nghĩa là "không lọc". Mô hình vẫn có thể tạo ra nội dung chất lượng thấp hoặc không liên quan. Bạn có thể cần xử lý hậu kỳ đầu ra.

Xác định ranh giới nội dung của riêng bạn. API chỉ áp dụng giới hạn nhỏ.

Điều này mang lại cho bạn sự linh hoạt nhưng cũng đi kèm trách nhiệm. Xác thực đầu ra cho đối tượng của bạn. Sử dụng bộ lọc từ khóa đơn giản nếu cần.

Mô hình được tinh chỉnh cho việc sử dụng người trưởng thành hợp pháp. Mô hình không đảm bảo phù hợp cho trẻ em. Hãy xác định rõ đối tượng mục tiêu của bạn. Điều này giúp bạn tránh các khiếu nại không mong muốn. API được thiết kế cho các nhà phát triển biết rõ những gì họ cần.

8. Tối ưu hóa cấu trúc prompt cho độ dài

Cấu trúc prompt ảnh hưởng đến cả hiệu suất và chi phí. Prompt dài tiêu tốn nhiều token hơn và tăng độ trễ. Hãy chia nhỏ prompt của bạn thành các phần nhỏ hơn nếu có thể.

• Giữ prompt hệ thống ngắn gọn.
• Sử dụng ít ví dụ mẫu.
• Loại bỏ khoảng trắng không cần thiết.

Mô hình không kiểm duyệt xử lý tốt các lời nhắc dài, nhưng bạn bị giới hạn bởi cửa sổ 100k token. Hãy lập kế hoạch ngân sách token của bạn cẩn thận.

Sử dụng tham số temperature để kiểm soát độ sáng tạo. Nhiệt độ thấp hơn tạo ra các đầu ra xác định hơn. Điều này hữu ích cho việc gọi hàm và chế độ JSON.

Kiểm tra các cấu trúc lệnh hỏi khác nhau. Những thay đổi nhỏ có thể cải thiện đáng kể chất lượng đầu ra.

Đây là một phần quan trọng của kỹ thuật prompt. Mô hình linh hoạt, nhưng nó cần các hướng dẫn rõ ràng. Cung cấp ngữ cảnh và ví dụ để hướng dẫn mô hình.

Theo dõi việc sử dụng token trong mỗi yêu cầu. Điều này giúp bạn xác định các prompt không hiệu quả. Tối ưu hóa cho cả tốc độ và chi phí. Giá API minh bạch, vì vậy bạn có thể tính toán chính xác chi phí của mỗi prompt. Điều này cho phép bạn mở rộng hiệu quả.

9. Kiểm tra với các Prompt không kiểm duyệt đại diện

Kiểm thử là bước cuối cùng trước khi triển khai. Sử dụng các prompt phản ánh các trường hợp sử dụng thực tế của bạn. Kiểm tra cả các trường hợp tiêu chuẩn và trường hợp biên.

• Gửi nhiều loại lời nhắc khác nhau.
• Kiểm tra tính nhất quán trong các phản hồi.
• Xác thực xử lý lỗi.

Mô hình không kiểm duyệt nên xử lý một loạt các chủ đề. Hãy kiểm tra với các chủ đề gây tranh cãi hoặc người trưởng thành để đảm bảo không có từ chối.

Hãy cũng thử nghiệm với các lệnh hàm và chế độ JSON. Đảm bảo đầu ra có thể phân tích cú pháp và chính xác. Việc kiểm tra toàn diện này đảm bảo quá trình ra mắt diễn ra suôn sẻ.

Thử nghiệm với dữ liệu thực tế của bạn. Dữ liệu tổng hợp có thể không tiết lộ tất cả các vấn đề.

Đây là cách tốt nhất để bắt lỗi sớm. API đáng tin cậy, nhưng mã của bạn có thể có vấn đề. Hãy xác minh tích hợp từ đầu đến cuối.

Sử dụng tín dụng dùng thử để kiểm tra kỹ lưỡng. Nó cung cấp cho bạn $0.50 tín dụng trong 7 ngày. Điều này đủ để kiểm tra hầu hết các kịch bản. Đăng ký với Google hoặc email để bắt đầu. Điều này giúp dễ dàng xác minh tích hợp của bạn trước khi cam kết.