क्या आपको SillyTavern के लिए प्रॉक्सी की आवश्यकता है?
खोजों में "Claude Code", "प्रॉक्सी" और "SillyTavern" अक्सर आपस में मिल जाते हैं, इसलिए यहाँ हर एक क्या है, यह समझाया गया है। Claude Code Anthropic का कोडिंग CLI है और इसका SillyTavern से कोई लेना-देना नहीं है। SillyTavern रोलप्ले और किरदार चैट के लिए एक स्व-होस्टेड चैट फ्रंटएंड है। इसके पुराने OpenAI सेटिंग्स में यह एक कस्टम एंडपॉइंट को "रिवर्स प्रॉक्सी" कहता है, जिससे शब्द "प्रॉक्सी" का उद्भव हुआ।
आपको किसी अतिरिक्त सर्वर को चलाने की आवश्यकता नहीं है। SillyTavern किसी भी OpenAI-संगत एंडपॉइंट से सीधे बात कर सकता है, और https://api.claudecodeproxyapi.com/v1 एक है। मॉडल ID uncensored है। यह एक स्वतंत्र प्रदाता द्वारा चलाया जाने वाला ओपन-वेट मॉडल है, जिसे वयस्कों के कानूनी उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है। यह Claude नहीं है और न ही Anthropic या किसी अन्य विक्रेता की आधिकारिक API है। एकमात्र कठोर नियम यह है कि नाबालिगों से संबंधित यौन सामग्री की कभी अनुमति नहीं है।
पांच चरणों में कनेक्ट करें
- API कुंजी पेज पर एक कुंजी प्राप्त करें। साइन-अप करने के बाद आप एक क्लिक के साथ $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं, जो 7 दिनों के लिए मान्य है, बिना कार्ड के।
- SillyTavern में, प्लग आइकन (API कनेक्शन्स) खोलें और API को Chat Completion पर सेट करें।
- Chat Completion Source को Custom (OpenAI-संगत) पर सेट करें।
- Custom Endpoint (Base URL) में
https://api.claudecodeproxyapi.com/v1दर्ज करें।/chat/completionsन जोड़ें। - अपनी कुंजी को Custom API Key में पेस्ट करें, मॉडल ID के रूप में
uncensoredटाइप करें, फिर Connect दबाएं।
एक हरा स्टेटस लाइट और मॉडल नाम का दिखना इसका मतलब है कि यह काम कर गया है। मेनू लेबल्स SillyTavern रिलीज़ के बीच थोड़े बदल जाते हैं, इसलिए यदि किसी फ़ील्ड का नाम आपके संस्करण पर अलग है, तो उसी विचार के लिए देखें: एक स्रोत जो एक कस्टम OpenAI-शैली URL स्वीकार करता है।
पहले SillyTavern के बाहर कुंजी का परीक्षण करें
यदि कनेक्ट विफल हो जाता है, तो SillyTavern को समीकरण से बाहर करें। इस अनुरोध को एक मॉडल सूची लौटनी चाहिए जिसमें uncensored शामिल हो:
curl https://api.claudecodeproxyapi.com/v1/models \
-H "Authorization: Bearer YOUR_KEY"
और यह एक वास्तविक प्रतिक्रिया का परीक्षण करता है, उसी तरीके से जिससे एक कैरेक्टर चैट भेजता है:
curl https://api.claudecodeproxyapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are Captain Rook, a gruff airship pilot."},
{"role": "user", "content": "We lost the left engine. Orders?"}
],
"temperature": 0.9,
"stream": true
}'
यदि दोनों टर्मिनल में काम करते हैं और SillyTavern में विफल होते हैं, तो कारण URL फ़ील्ड में टाइपो या एक बची हुई सेटिंग है। यदि वे टर्मिनल में भी विफल होते हैं, तो कुंजी की जाँच करें।
बदलने योग्य सेटिंग्स
कॉन्टेक्स्ट विंडो का आकार
API की 100,000-टोकन विंडो है, प्रॉम्प्ट और कंप्लीशन सहित। SillyTavern का कॉन्टेक्स्ट स्लाइडर आपके इतिहास को ट्रिम करता है, इसलिए अपनी चैट की आवश्यकताओं के अनुसार इसे जितना हो सके उठाएं। बड़ा कॉन्टेक्स्ट मतलब समृद्ध मेमोरी लेकिन साथ ही प्रत्येक संदेश के लिए अधिक इनपुट टोकन, जहाँ से लागत आती है।
प्रतिक्रिया की लंबाई
अपनी शैली के अनुसार एक अधिकतम प्रतिक्रिया लंबाई सेट करें। API max_tokens को वैकल्पिक मानती है, लेकिन एक कैप एक प्रतिक्रिया को चलते रहने से रोकता है और लागत को पूर्वानुमानित रखता है।
स्ट्रीमिंग
स्ट्रीमिंग चालू करें ताकि जवाब शब्द-दर-शब्द प्रकट हों। स्ट्रीम SSE का उपयोग करते हैं और अंत में उपयोग की रिपोर्ट करते हैं। एक स्ट्रीम एक समानांतरता स्लॉट को तब तक पकड़े रखता है जब तक यह समाप्त न हो जाए, जो तब मायने रखता है जब आप एक साथ कई चैट चलाते हैं: एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है, और ट्रायल कुंजी 2 और 60 की अनुमति देती है।
सैंपलिंग
तापमान, top_p, स्टॉप सीक्वेंसेस, सीड और पेनल्टी पास कर दिए जाते हैं। जीवंत संवाद के लिए, तापमान 0.9 के आसपास शुरू करें। यदि एक कैरेक्टर वाक्यों को दोहराता है, तो कुछ और बदलने से पहले एक छोटी फ्रीक्वेंसी पेनल्टी जोड़ें।
प्रॉम्प्ट पोस्ट-प्रोसेसिंग
यदि कनेक्शन काम करता है लेकिन प्रतिक्रियाएं आपके कैरेक्टर कार्ड को नज़रअंदाज करती हैं, तो कस्टम स्रोत के लिए प्रॉम्प्ट पोस्ट-प्रोसेसिंग विकल्प पर नज़र डालें और एक अलग मोड आज़माएं। कुछ मोड सिस्टम संदेशों को मर्ज या पुनर्व्यवस्थित करते हैं, जिससे कार्ड को पढ़ने का तरीका बदल सकता है।
फ़ंक्शन कॉलिंग और एक्सटेंशन
API फ़ंक्शन कॉलिंग का समर्थन करता है: tools, tool_choice, स्ट्रीमिंग tool_calls और परिणाम role: "tool" के रूप में वापस भेजे जाते हैं। क्या आप इसे SillyTavern से उपयोग कर सकते हैं, यह संस्करण और आप जो एक्सटेंशन इंस्टॉल करते हैं, उस पर निर्भर करता है, क्योंकि फ्रंटएंड में फ़ंक्शन कॉलिंग वैकल्पिक है और विशिष्ट सुविधाओं द्वारा संभाली जाती है। यदि आप अपना खुद का किरदार टूल या एक्सटेंशन बनाते हैं, तो अनुरोध का स्वरूप मानक OpenAI वाला होता है, और दस्तावेज़ीकरण में उदाहरण दिए गए हैं। साधारण किरदार चैट के लिए, आपको टूल्स की बिल्कुल आवश्यकता नहीं है।
JSON मोड भी response_format: {"type":"json_object"} के माध्यम से उपलब्ध है। यह उन एक्सटेंशन के लिए मददगार है जो मॉडल से संरचित डेटा मांगते हैं, जैसे कि इन्वेंट्री या रिश्तों के लिए स्टेट ट्रैकर।
चैट की लागत
मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। मान लीजिए कि प्रत्येक संदेश कार्ड, लोरबुक और इतिहास के 8,000 टोकन भेजता है और 400-टोकन का जवाब प्राप्त करता है:
- इनपुट: 8,000 / 1,000,000 x $0.15 = $0.0012
- आउटपुट: 400 / 1,000,000 x $0.50 = $0.0002
- प्रति संदेश: $0.0014
- 200-संदेश वाली चैट: 200 x $0.0014 = $0.28
तो $0.50 का ट्रायल क्रेडिट एक लंबी पहली चैट को कवर करता है। टॉप-अप $20 से शुरू होते हैं, $50 से +5%, $100 से +10% और $200 से +15% बोनस के साथ, और अप्रयुक्त क्रेडिट कभी समाप्त नहीं होता। इस साइट पर भुगतान क्रिप्टो (TRC20 पर USDT, Base पर USDC) में होता है। विवरण मूल्य निर्धारण पृष्ठ पर उपलब्ध हैं। यदि आप एक कोडिंग CLI में उसी एंडपॉइंट को वायर करना चाहते हैं, तो प्रॉक्सी समस्या-निवारण गाइड समझाता है कि वहाँ एक अनुवादक प्रॉक्सी की आवश्यकता क्यों है और यहाँ नहीं।
कैरेक्टर कार्ड की लागत कम रखें
इनपुट टोकन बिल का अधिकांश हिस्सा हैं, और कार्ड हर संदेश के साथ फिर से भेजा जाता है। कुछ आदतें लागत को कम करती हैं बिना कैरेक्टर को नुकसान पहुंचाए:
- लंबी पृष्ठभूमि कथा के बजाय, कार्ड को आवाज़, लक्ष्यों और सीमाओं के छोटे कथनों के रूप में लिखें।
- लोरबुक प्रविष्टियों को विशिष्ट शब्दों के लिए कुंजीबद्ध रखें ताकि केवल प्रासंगिक ही डाले जाएं।
- पुराने दृश्यों को कभी-कभी कुछ पंक्तियों में सारांशित करें, फिर कच्चे लॉग को काटें।
- प्रॉम्प्ट व्यू में टोकन काउंटर की जांच करें और जो कुछ भी मॉडल कभी उपयोग नहीं करता उसे हटा दें।
प्रति संदेश औसत इनपुट को 8,000 से 4,000 टोकन तक आधा करने से संदेश के इनपुट हिस्से की लागत $0.0012 से घटकर $0.0006 हो जाती है, जो प्रति संदेश $0.0006 की बचत और 200 संदेशों पर $0.12 की बचत है।
सामान्य समस्याएं
| समस्या | जांचें |
|---|---|
| कनेक्ट करने पर त्रुटि आती है | URL को /v1 पर समाप्त होना चाहिए और /chat/completions नहीं होना चाहिए; ऊपर दिए गए curl कॉल के साथ परीक्षण करें |
| प्रतिक्रिया वाक्य के बीच में कट जाती है | प्रतिक्रिया की लंबाई की सेटिंग बढ़ाएं; API स्वयं कॉन्टेक्स्ट विंडो से नीचे कुछ भी कैप नहीं करता है |
| प्रतिक्रियाएं दोहराई जाती हैं | एक छोटा आवृत्ति या उपस्थिति पेनल्टी जोड़ें और तापमान थोड़ा बढ़ाएं |
| कई संदेशों के बाद चैट रुक जाती है | आप 100,000-टोकन विंडो की सीमा तक पहुँच गए होंगे; कॉन्टेक्स्ट स्लाइडर कम करें या सारांश बनाएं |
| दो चैट चलाते समय 429 | ट्रायल कुंजी 2 समानांतर अनुरोधों की अनुमति देती है; पूर्ण कुंजी के लिए स्ट्रीम रोकें या टॉप-अप करें |
जब आप सपोर्ट से संपर्क करते हैं, तो विफल प्रतिक्रिया से X-Request-Id हेडर भेजें। कुंजी पृष्ठ पर ही आप यह भी जाँच सकते हैं कि आपने जो कुंजी पेस्ट की है वह वर्तमान है या नहीं।
