Bạn có cần proxy cho SillyTavern không?
Các từ "Claude Code", "proxy" và "SillyTavern" thường bị nhầm lẫn trong các tìm kiếm, vì vậy đây là định nghĩa của từng từ. Claude Code là CLI lập trình của Anthropic và không liên quan đến SillyTavern. SillyTavern là giao diện trò chuyện tự lưu trữ cho đóng vai và trò chuyện nhân vật. Trong cài đặt OpenAI cũ, nó gọi một endpoint tùy chỉnh là "reverse proxy", đó là nguồn gốc của từ "proxy".
Bạn không cần chạy máy chủ bổ sung. SillyTavern có thể giao tiếp trực tiếp với bất kỳ endpoint tương thích OpenAI nào, và https://api.claudecodeproxyapi.com/v1 là một trong số đó. Model ID là uncensored. Đây là một mô hình trọng số mở do nhà cung cấp độc lập vận hành, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó không phải là Claude và không phải là API chính thức của Anthropic hoặc bất kỳ nhà cung cấp nào khác. Quy tắc cứng duy nhất là nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép.
Kết nối trong năm bước
- Lấy khóa trên trang khóa API. Sau khi đăng ký, bạn có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày, không cần thẻ.
- Trong SillyTavern, mở biểu tượng plugin (Kết nối API) và đặt API thành Chat Completion.
- Đặt Nguồn Chat Completion thành Tùy chỉnh (tương thích OpenAI).
- Trong Custom Endpoint (Base URL), nhập
https://api.claudecodeproxyapi.com/v1. Không thêm/chat/completions. - Dán khóa của bạn vào Custom API Key, nhập
uncensoredlàm model ID, sau đó nhấn Connect.
Đèn trạng thái màu xanh lá và tên mô hình xuất hiện nghĩa là đã thành công. Nhãn menu thay đổi nhẹ giữa các phiên bản SillyTavern, vì vậy nếu một trường có tên khác trên phiên bản của bạn, hãy tìm ý tưởng tương tự: một nguồn chấp nhận URL kiểu OpenAI tùy chỉnh.
Kiểm tra khóa bên ngoài SillyTavern trước
Nếu Connect thất bại, hãy loại bỏ SillyTavern khỏi phương trình. Yêu cầu này nên trả về danh sách mô hình bao gồm uncensored:
curl https://api.claudecodeproxyapi.com/v1/models \
-H "Authorization: Bearer YOUR_KEY"
Và yêu cầu này kiểm tra một phản hồi thực tế, cách mà một cuộc trò chuyện nhân vật gửi nó:
curl https://api.claudecodeproxyapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are Captain Rook, a gruff airship pilot."},
{"role": "user", "content": "We lost the left engine. Orders?"}
],
"temperature": 0.9,
"stream": true
}'
Nếu cả hai đều hoạt động trong terminal nhưng thất bại trong SillyTavern, nguyên nhân là lỗi chính tả trong trường URL hoặc cài đặt còn sót lại. Nếu chúng cũng thất bại trong terminal, hãy kiểm tra khóa.
Các cài đặt đáng để thay đổi
Kích thước cửa sổ ngữ cảnh
API có cửa sổ ngữ cảnh 100.000 token, bao gồm prompt và completion. Thanh trượt context của SillyTavern là thứ cắt lịch sử của bạn, vì vậy hãy tăng nó lên mức cần thiết cho các cuộc trò chuyện của bạn. Context lớn hơn có nghĩa là bộ nhớ phong phú hơn nhưng cũng có nghĩa là nhiều token đầu vào hơn cho mỗi tin nhắn, đó là nơi phát sinh chi phí.
Độ dài phản hồi
Đặt độ dài phản hồi tối đa phù hợp với phong cách của bạn. API coi max_tokens là tùy chọn, nhưng giới hạn này ngăn phản hồi chạy dài và giữ chi phí có thể dự đoán được.
Truyền phát
Bật streaming để các phản hồi xuất hiện từng từ một. Streams sử dụng SSE và báo cáo việc sử dụng ở cuối. Một stream giữ một slot concurrency cho đến khi hoàn tất, điều này quan trọng nếu bạn chạy nhiều cuộc trò chuyện cùng lúc: khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, và khóa dùng thử cho phép 2 và 60.
Lấy mẫu
Nhiệt độ, top_p, chuỗi dừng, seed và các hình phạt được chuyển tiếp. Đối với hội thoại sinh động, hãy bắt đầu ở nhiệt độ khoảng 0,9. Nếu một nhân vật lặp lại các cụm từ, hãy thêm một hình phạt tần suất nhỏ trước khi thay đổi bất kỳ thứ gì khác.
Xử lý hậu kỳ prompt
Nếu kết nối hoạt động nhưng các phản hồi bỏ qua thẻ nhân vật của bạn, hãy xem xét tùy chọn xử lý hậu kỳ prompt cho nguồn Custom và thử một chế độ khác. Một số chế độ hợp nhất hoặc sắp xếp lại các thông báo hệ thống, điều này có thể thay đổi cách thẻ được đọc.
Gọi hàm và tiện ích mở rộng
API hỗ trợ gọi hàm: tools, tool_choice, tool_calls dạng streaming và kết quả được gửi lại dưới dạng role: "tool". Việc bạn có thể sử dụng nó từ SillyTavern hay không phụ thuộc vào phiên bản và các tiện ích mở rộng bạn cài đặt, vì gọi hàm trong các giao diện người dùng là tùy chọn và được xử lý bởi các tính năng cụ thể. Nếu bạn xây dựng các công cụ nhân vật tùy chỉnh hoặc tiện ích mở rộng, hình dạng yêu cầu là tiêu chuẩn OpenAI, và tài liệu hiển thị các ví dụ. Đối với trò chuyện nhân vật đơn giản, bạn không cần công cụ.
Chế độ JSON cũng có sẵn thông qua response_format: {"type":"json_object"}. Nó hữu ích cho các tiện ích mở rộng yêu cầu mô hình cung cấp dữ liệu có cấu trúc, chẳng hạn như trình theo dõi trạng thái cho kho đồ hoặc mối quan hệ.
Chi phí cho một cuộc trò chuyện
Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, và các yêu cầu bị lỗi hoặc từ chối không được tính phí. Giả sử mỗi tin nhắn gửi 8.000 token thẻ, sách thế giới và lịch sử và nhận được phản hồi 400 token:
- Đầu vào: 8.000 / 1.000.000 x $0,15 = $0,0012
- Đầu ra: 400 / 1.000.000 x $0,50 = $0,0002
- Mỗi tin nhắn: $0,0014
- Cuộc trò chuyện 200 tin nhắn: 200 x $0,0014 = $0,28
Vì vậy, tín dụng dùng thử $0,50 bao phủ một cuộc trò chuyện dài đầu tiên. Các khoản nạp tiền bắt đầu từ $20, với tiền thưởng +5% từ $50, +10% từ $100 và +15% từ $200, và tín dụng chưa sử dụng không bao giờ hết hạn. Trên trang web này thanh toán bằng crypto (USDT trên TRC20, USDC trên Base). Chi tiết có trên trang giá cả. Nếu bạn muốn kết nối cùng endpoint vào CLI lập trình thay thế, hướng dẫn khắc phục sự cố proxy giải thích tại sao cần proxy dịch ở đó và không cần ở đây.
Giữ thẻ nhân vật rẻ tiền
Token đầu vào chiếm phần lớn hóa đơn, và thẻ được gửi lại với mỗi tin nhắn. Một số thói quen cắt giảm chi phí mà không làm hỏng nhân vật:
- Viết thẻ dưới dạng các tuyên bố ngắn gọn về giọng điệu, mục tiêu và ranh giới thay vì văn xuôi backstory dài.
- Giữ các mục sách thế giới được gắn với các từ cụ thể để chỉ những mục liên quan mới được chèn vào.
- Tóm tắt các cảnh cũ thành một vài dòng thỉnh thoảng, sau đó cắt nhật ký thô.
- Kiểm tra bộ đếm token trong chế độ xem prompt và cắt bất cứ thứ gì mô hình không bao giờ sử dụng.
Giảm một nửa đầu vào trung bình từ 8.000 token xuống 4.000 token mỗi tin nhắn làm giảm phần đầu vào của tin nhắn từ $0,0012 xuống $0,0006, tiết kiệm $0,0006 mỗi tin nhắn và $0,12 cho 200 tin nhắn.
Các vấn đề thường gặp
| Vấn đề | Kiểm tra |
|---|---|
| Connect hiển thị lỗi | URL phải kết thúc bằng /v1 và không chứa /chat/completions; hãy kiểm tra bằng các lệnh curl ở trên |
| Phản hồi bị ngắt quãng giữa câu | Tăng cài đặt độ dài phản hồi; API tự thân không giới hạn gì dưới cửa sổ ngữ cảnh |
| Các phản hồi lặp lại | Thêm một hình phạt tần suất hoặc hiện diện nhỏ và tăng nhiệt độ một chút |
| Trò chuyện dừng lại sau nhiều tin nhắn | Bạn có thể đã chạm giới hạn cửa sổ ngữ cảnh 100.000 token; hãy giảm thanh trượt ngữ cảnh hoặc tóm tắt lại |
| Lỗi 429 khi chạy hai cuộc trò chuyện | Khóa dùng thử cho phép 2 yêu cầu đồng thời; hãy dừng truyền phát hoặc nạp tiền để có khóa đầy đủ |
Khi liên hệ hỗ trợ, hãy gửi header X-Request-Id từ phản hồi bị lỗi. Trang khóa API cũng là nơi bạn kiểm tra xem khóa bạn đã dán có phải là khóa hiện tại không.
