HI ▾

होमगाइड

डेवलपर्स के लिए LLM प्रॉक्सी ट्राबलशूटिंग गाइड

एक LLM प्रॉक्सी आपके एप्लिकेशन कोड और बड़े भाषा मॉडल प्रदाताओं के बीच एक अनुवाद परत के रूप में कार्य करता है, लेकिन गलत कॉन्फ़िगर किए गए एंडपॉइंट, स्ट्रीमिंग प्रोटोकॉल या कॉन्टेक्स्ट लिमिट सilent विफलताएं पैदा कर सकते हैं। यह गाइड प्रॉक्सी डिबगिंग की विशिष्ट तंत्र पर चलती है, 404 त्रुटियों को ठीक करने से लेकर रेट लिमिट को संभालने तक, यह सुनिश्चित करते हुए कि आपका क्लाइंट कोड विश्वसनीय रूप से कनेक्ट हो।

डेवलपर्स के लिए LLM प्रॉक्सी ट्राबलशूटिंग गाइड

मुख्य बिंदु

  1. यह मानने से पहले कि मॉडल डाउन है, अपनी बेस URL और API कुंजी प्रारूप की जांच करें।
  2. स्ट्रीमिंग (SSE) विफलताएं अक्सर हेडर की कमी या क्लाइंट SDK में अपर्याप्त बफर हैंडलिंग से उत्पन्न होती हैं।
  3. रेट लिमिट प्रति कुंजी लागू किए जाते हैं, इसलिए एक कुंजी को पुनः उत्पन्न करने से आपका उपयोग काउंटर तुरंत रीसेट नहीं होता है।
  4. कॉन्टेक्स्ट विंडो त्रुटियां तब होती हैं जब संयुक्त प्रॉम्प्ट और पूर्णता टोकन मॉडल की कठोर सीमा से अधिक हो जाते हैं।

प्रॉक्सी बनाम सीधे API को समझना

जब आप सीधे API कॉल से LLM प्रॉक्सी पर स्विच करते हैं, तो आप एक मध्यवर्ती सर्वर जोड़ रहे हैं जो आपके अनुरोध को अनुवादित करता है। सीधे API कॉल में डेटा सीधे आपके क्लाइंट से मॉडल प्रदाता को जाता है। प्रॉक्सी उस अनुरोध को रोकता है, अपनी लॉजिक लागू करता है (जैसे रूटिंग, कैशिंग, या मॉडल चयन), और फिर उसे आगे बढ़ाता है। प्रॉक्सी API का उपयोग करने वाले डेवलपर्स के लिए, लक्ष्य अक्सर ड्रॉप-इन संगतता होता है: आप claude code proxy या समान सेवा का उपयोग करते हैं, तो आप base_url और api_key बदलते हैं, लेकिन अपना मौजूदा कोड रखें।

लागत लेटेंसी है। हर प्रॉक्सी एक हॉप जोड़ता है। यदि प्रॉक्सी खराब रूप से अनुकूलित है, तो आपको हायर टाइम-टू-फर्स्ट-टोकन (TTFB) दिखाई दे सकता है। इसके अलावा, प्रॉक्सी हेडर या बॉडी संरचनाओं को थोड़ा संशोधित कर सकते हैं। हमेशा सत्यापित करें कि प्रॉक्सी आपके क्लाइंट द्वारा अपेक्षित सटीक OpenAI-संगत स्कीमा का समर्थन करता है। यदि आप कनेक्शन समस्या को डिबग कर रहे हैं, तो पुष्टि करें कि प्रॉक्सी वास्तव में ऑनलाइन है और केवल गलत कॉन्फ़िगर नहीं है।

एक सामान्य गेटवे के विपरीत जो कई प्रदाताओं के बीच रूट करता है, claudecodeproxyapi.com जैसा एक विशेष प्रॉक्सी एक अकेले बिना सेंसर मॉडल पर केंद्रित होता है। इसका मतलब है कि आपको मॉडल रूटिंग सुविधाएं नहीं मिलतीं, लेकिन आपको उस विशिष्ट आर्किटेक्चर के लिए भविष्यवाणी योग्य प्रदर्शन मिलता है।

'404 Not Found' त्रुटियों को ठीक करना

LLM प्रॉक्सी से 404 त्रुटि आमतौर पर टूटे बेस URL या गलत एंडपॉइंट पथ को इंगित करती है। सबसे आम गलती /chat/completions जोड़ना या /v1 प्रिफ़िक्स छोड़ देना है। उदाहरण के लिए, https://api.claudecodeproxyapi.com/chat/completions का उपयोग https://api.claudecodeproxyapi.com/v1/chat/completions के बजाय करने पर विफलता आएगी।

  • बेस URL की जाँच करें: सुनिश्चित करें कि आप अपने प्रॉक्सी प्रदाता द्वारा प्रदान किए गए सटीक URL का उपयोग कर रहे हैं। यह न मानें कि यह मानक पैटर्न का पालन करता है।
  • एंडपॉइंट की जाँच करें: अधिकांश OpenAI-संगत प्रॉक्सी POST /v1/chat/completions का उपयोग करते हैं। कुछ पुराने या कस्टम प्रॉक्सी पुराने टेक्स्ट मॉडल के लिए POST /completions का उपयोग कर सकते हैं।
  • प्रतिक्रिया बॉडी की जाँच करें: 404 प्रतिक्रिया में अक्सर एक JSON त्रुटि संदेश होता है जो गायब रूट की व्याख्या करता है।

If you are using a standard SDK like OpenAI's Python or Node client, ensure you are not manually constructing the URL if the SDK expects just the base. Double-check that your proxy supports the /v1 prefix. If the error persists, try a simple curl request to isolate whether the issue is in your code or the proxy itself.

स्ट्रीमिंग (SSE) समस्याओं को हल करना

सर्वर-सेंट इवेंट्स (SSE) के माध्यम से स्ट्रीमिंग आपको पूरा समाप्त होने का इंतजार करने के बजाय टोकन-दर-टोकन प्रतिक्रियाएं प्राप्त करने की अनुमति देता है। यह चैट इंटरफेस के लिए महत्वपूर्ण है। यदि स्ट्रीमिंग विफल हो जाती है, तो आपकी एप्लिकेशन लटक सकती है या पूरी प्रतिक्रिया एक साथ प्रदर्शित कर सकती है।

  • हेडर की जाँच करें: सुनिश्चित करें कि आपके अनुरोध में Accept: text/event-stream और Content-Type: application/json शामिल हैं। कुछ प्रॉक्सी को स्पष्ट रूप से इनकी आवश्यकता होती है।
  • स्ट्रीम को सही ढंग से हैंडल करें: अपने SDK के बिल्ट-इन स्ट्रीमिंग समर्थन का उपयोग करें। यदि आप सीमा ईवेंट्स जैसे data: [DONE] को छूट जाते हैं, तो SSE डेटा का मैन्युअल पार्सिंग त्रुटिपूर्ण हो सकता है।
  • डिबगिंग: यदि स्ट्रीम समय से पहले कट जाती है, तो नेटवर्क विघटन या प्रॉक्सी टाइमआउट सेटिंग्स की जाँच करें।

claude code proxy के लिए जो स्ट्रीमिंग का समर्थन करता है, सुनिश्चित करें कि आपका क्लाइंट आंशिक प्रतिक्रियाओं को संभालने के लिए कॉन्फ़िगर किया गया है। यदि आप सीधे API से प्रॉक्सी पर स्विच करते हैं, तो सत्यापित करें कि प्रॉक्सी वास्तव में SSE लागू करता है। सभी प्रॉक्सी इसका समर्थन नहीं करते हैं, और कुछ स्ट्रीमिंग अनुरोध न किए जाने पर मानक JSON प्रतिक्रियाओं पर वापस आ सकते हैं।

रेट लिमिट को संभालना (300 RPM)

रेट लिमिट दुरुपयोग को रोकते हैं और उचित संसाधन उपयोग को सुनिश्चित करते हैं। एक आम भ्रम यह है कि रेट लिमिट अक्सर आपकी API कुंजी से जुड़े होते हैं, न कि आपके खाते से। यदि आपके पास एक कुंजी है, तो आप उस कुंजी की कोटा तक सीमित हैं।

claudecodeproxyapi.com के लिए, सीमा प्रति कुंजी प्रति मिनट 300 अनुरोध है। यदि आप इससे अधिक हो जाते हैं, तो आपको 429 Too Many Requests त्रुटि मिलेगी। इसे हल करने के लिए:

  • एक्सपोनेंशियल बैकऑफ लागू करें: विफल अनुरोधों को बढ़ते विलंबता के साथ पुनः प्रयास करें।
  • Retry-After हेडर की जाँच करें: यह हेडर अक्सर पुनः प्रयास करने से पहले कितना प्रतीक्षा करना है, यह संकेत देता है।
  • अपनी कुंजी पुनः उत्पन्न करें: भले ही आप अपनी कुंजी पुनः उत्पन्न कर सकें, ध्यान दें कि इससे आपका रेट लिमिट गिनती तुरंत रीसेट नहीं होता है। नई कुंजी कुछ समय के लिए पुरानी कुंजी के उपयोग इतिहास को विरासत में पाती है।

कुछ प्रदाताओं के विपरीत जो खाते के लिए कई कुंजियां प्रदान करते हैं, इस सेवा में एक खाते के लिए एक कुंजी होती है। यदि आपको उच्च थ्रूपुट की आवश्यकता है, तो आपको क्लाइंट-साइड कतारबद्धता लागू करने की आवश्यकता हो सकती है या यदि उपलब्ध हो तो अपनी योजना अपग्रेड करनी चाहिए।

कॉन्टेक्स्ट विंडो से अधिक त्रुटियां

कॉन्टेक्स्ट विंडो टोकन की अधिकतम संख्या (प्रॉम्प्ट + पूर्णता) है जिसे मॉडल एकल अनुरोध में संसाधित कर सकता है। यदि आपका प्रॉम्प्ट इस सीमा से अधिक होता है, तो API एक त्रुटि लौटाएगा। claudecodeproxyapi.com के लिए, कॉन्टेक्स्ट विंडो 100,000 टोकन है।

  • टोकन उपयोग की गणना करें: अपने प्रॉम्प्ट और अपेक्षित प्रतिक्रिया में टोकन गिनने के लिए एक टोकनाइज़र लाइब्रेरी का उपयोग करें। संयम बरतें; अनुमान लगाएँ कि आपकी प्रतिक्रिया कॉन्टेक्स्ट विंडो के 10-20% हिस्से के बराबर होगी।
  • लंबे इनपुट को काटें: यदि आप बड़े दस्तावेज़ पास कर रहे हैं, तो उन्हें सबसे प्रासंगिक भागों तक सीमित कर दें।
  • सिस्टम संदेशों की जाँच करें: सिस्टम प्रॉम्प्ट और फ़ंक्शन परिभाषाएँ कॉन्टेक्स्ट विंडो में गिनी जाती हैं। उनके आकार को कम न आँकें।

यदि आपको कॉन्टेक्स्ट विंडो त्रुटि का सामना करना पड़ता है, तो इनपुट आकार को कम करें या यदि प्रदाता एक बड़ा कॉन्टेक्स्ट विकल्प प्रदान करता है तो मॉडल की सीमा बढ़ाएं। याद रखें कि सीमा एक अनुरोध में भेजे गए कुल टोकन पर लागू होती है, न कि केवल इनपुट टेक्स्ट पर।

प्रमाणीकरण और कुंजी पुनर्जनन

प्रमाणीकरण आमतौर पर Authorization: Bearer हेडर में पास की गई API कुंजी के माध्यम से संभाला जाता है। यदि आपको 401 Unauthorized त्रुटि मिलती है, तो सत्यापित करें कि आपकी कुंजी सही है और समाप्त नहीं हुई है।

अधिकांश प्रॉक्सी आपको अपनी API कुंजी को पुनः उत्पन्न करने की अनुमति देते हैं। जब आप एक कुंजी को पुनः उत्पन्न करते हैं:

  • पुरानी कुंजी रद्द कर दी गई है: पुरानी कुंजी का उपयोग करने वाले अनुरोध तुरंत विफल हो जाएंगे।
  • एक नई कुंजी उत्पन्न की गई है: नई कुंजी का उपयोग करने के लिए अपने एनवायरनमेंट वेरिएबल्स या कॉन्फ़िगरेशन फ़ाइलों को अपडेट करें।
  • उपयोग का इतिहास संरक्षित रहता है: जब आप एक कुंजी को पुनः उत्पन्न करते हैं, तो आपकी बिलिंग और उपयोग के आँकड़े रीसेट नहीं होते हैं।

claudecodeproxyapi.com के लिए, आप अपनी कुंजी को किसी भी समय अपने डैशबोर्ड से पुनः उत्पन्न कर सकते हैं। यह तब उपयोगी होता है जब आपको संदेह हो कि आपकी कुंजी लीक हो गई है। पुनः उत्पन्न करने से पहले सुनिश्चित करें कि आप उस कुंजी का उपयोग कर रहे सभी क्लाइंट्स को अपडेट कर दें, वरना उन्हें विराम का सामना करना पड़ सकता है।

टूल कॉलिंग विफलताओं का डीबगिंग

टूल कॉलिंग (फ़ंक्शन कॉलिंग) मॉडल को आपके कोड से विशिष्ट क्रियाओं का अनुरोध करने की अनुमति देती है। यदि टूल कॉलिंग विफल हो जाती है, तो मॉडल वांछित फ़ंक्शन को निष्पादित नहीं कर सकता है, या आपका कोड फ़ंक्शन तर्कों को पार्स करने में विफल हो सकता है।

  • फ़ंक्शन स्कीमा की जाँच करें: सुनिश्चित करें कि आपके फ़ंक्शन की परिभाषाएँ प्रॉक्सी द्वारा अपेक्षित स्कीमा से मेल खाती हैं। मेल न खाने वाले पैरामीटर प्रकार या आवश्यक फ़ील्ड्स की कमी विफलता का कारण बन सकती है।
  • आंशिक प्रतिक्रियाओं को संभालें: स्ट्रीमिंग के दौरान, टूल कॉल चंक (खंडों) में आ सकते हैं। सुनिश्चित करें कि आपका क्लाइंट इन चंक को एक पूर्ण फ़ंक्शन कॉल में एकीकृत कर सके।
  • त्रुटि संदेशों की जाँच करें: यदि मॉडल टूल को कॉल करने में विफल रहता है, तो API प्रतिक्रिया में आमतौर पर एक त्रुटि संदेश शामिल होता है जो बताता है कि ऐसा क्यों हुआ (उदाहरण के लिए, तर्कों में अमान्य JSON)।

claude code proxy के लिए जो टूल कॉलिंग का समर्थन करता है, सुनिश्चित करें कि आपका क्लाइंट टूल रिस्पॉन्स फॉर्मेट को संभालने के लिए कॉन्फ़िगर किया गया है। यदि आप सीधे API से स्विच करते हैं, तो सत्यापित करें कि प्रॉक्सी समान टूल कॉलिंग स्कीमा का समर्थन करता है। कुछ प्रॉक्सी टूल कॉलिंग सक्षम करने के लिए अतिरिक्त कॉन्फ़िगरेशन की आवश्यकता हो सकती है।

अनुरोध बॉडी साइम लिमिट्स का प्रबंधन

अधिकांश APIs अत्यधिक संसाधन उपयोग को रोकने के लिए अनुरोध बॉडी के आकार पर एक सीमा लागू करते हैं। यदि आपकी अनुरोध बॉडी इस सीमा से अधिक हो जाती है, तो API 413 Payload Too Large त्रुटि लौटाएगा।

claudecodeproxyapi.com के लिए, अनुरोध बॉडी सीमा 8 MB है। यह सीमा संपूर्ण HTTP अनुरोध पर लागू होती है, जिसमें हेडर और JSON बॉडी शामिल हैं। इसे प्रबंधित करने के लिए:

  • बड़े इनपुट को संपीड़ित करें: यदि आप बड़े फ़ाइलें भेज रहे हैं, तो भेजने से पहले उन्हें संपीड़ित करने पर विचार करें।
  • पेलोड का आकार कम करें: अपने JSON अनुरोध से अनावश्यक फ़ील्ड हटा दें। केवल API द्वारा आवश्यक पैरामीटर ही भेजें।
  • अनुरोध के आकार की निगरानी करें: जब आप सीमा के करीब पहुँच रहे हैं, तो यह पहचानने के लिए अपने अनुरोधों के आकार को लॉग करें।

यदि आप बार-बार इस सीमा को पार कर जाते हैं, तो बड़ी कार्यों को छोटे अनुरोधों में विभाजित करने या प्रॉक्सी का उपयोग करने पर विचार करें जो बड़े पेलोड का समर्थन करता है।

अगले कदम और सहायता

यदि आपने ये त्रुटि निवारण चरण अनुसरण किए हैं और फिर भी समस्याएँ आ रही हैं, तो निम्नलिखित अगले कदमों पर विचार करें:

  • प्रॉक्सी की स्थिति पृष्ठ जाँचें: कुछ प्रदाता अपनी सेवाओं के लिए रियल-टाइम स्थिति अपडेट प्रकाशित करते हैं।
  • API दस्तावेज़ीकरण की समीक्षा करें: सुनिश्चित करें कि आप API के नवीनतम संस्करण का उपयोग कर रहे हैं और आपका क्लाइंट अप-टू-डेट है।
  • सहायता से संपर्क करें: यदि समस्या बनी रहती है, तो अपने अनुरोध ID और त्रुटि लॉग के साथ प्रॉक्सी प्रदाता की सहायता टीम से संपर्क करें।

claudecodeproxyapi.com के लिए, आप हमारी वेबसाइट पर अतिरिक्त संसाधन और दस्तावेज़ीकरण पा सकते हैं। हम एक प्रीपेड क्रेडिट प्रणाली प्रदान करते हैं जिसमें कोई मासिक शुल्क नहीं है, जिससे हमारे बिना सेंसर मॉडल को अपनी एप्लिकेशन में परीक्षण और एकीकृत करना आसान हो जाता है।

प्रश्न और उत्तर

LLM प्रॉक्सी और LLM गेटवे के बीच क्या अंतर है?

एक LLM प्रॉक्सी आमतौर पर एक पारदर्शी परत के रूप में कार्य करता है, जो अनुरोधों को एकल मॉडल या मॉडलों के एक निश्चित सेट में आगे बढ़ाता है। एक LLM गेटवे में अक्सर उन्नत रूटिंग लॉजिक शामिल होता है, जो आपको लागत, विलंबता या क्षमता के आधार पर अनुरोधों को अलग-अलग मॉडल में भेजने की अनुमति देता है। प्रॉक्सी सरल होते हैं और अक्सर सिंगल-मॉडल उपयोग मामलों के लिए बेहतर प्रदर्शन प्रदान करते हैं, जबकि गेटवे मल्टी-मॉडल आर्किटेक्चर के लिए अधिक लचीलापन प्रदान करते हैं।

क्या claudecodeproxyapi.com प्रत्येक खाते के लिए कई API कुंजियों का समर्थन करता है?

नहीं, claudecodeproxyapi.com प्रति खाता एक API कुंजी प्रदान करता है। आप कुंजी को किसी भी समय पुनः उत्पन्न कर सकते हैं, लेकिन आप एकल खाते के तहत एक साथ सक्रिय कई कुंजियाँ नहीं रख सकते हैं। यदि आपको उच्च थ्रूपुट की आवश्यकता है, तो आपको क्लाइंट-साइड क्यूइंग लागू करने की आवश्यकता हो सकती है या यदि उपलब्ध हो तो अपना प्लान अपग्रेड करना चाहिए।

मैं LLM प्रॉक्सी से स्ट्रीमिंग प्रतिक्रियाओं को कैसे संभालूँ?

स्ट्रीमिंग प्रतिक्रियाओं को संभालने के लिए, सुनिश्चित करें कि आपका क्लाइंट Accept: text/event-stream हेडर का अनुरोध करता है। अपने SDK के बिल्ट-इन स्ट्रीमिंग समर्थन का उपयोग करके Server-Sent Events (SSE) डेटा को प्रक्रिया करें। यह आपको टोकन-दर-टोकन प्रतिक्रियाएँ प्राप्त करने की अनुमति देता है, जिससे चैट इंटरफ़ेस के लिए उपयोगकर्ता अनुभव में सुधार होता है। यदि स्ट्रीमिंग विफल हो जाती है, तो जाँच करें कि प्रॉक्सी SSE का समर्थन करता है और आपका क्लाइंट इवेंट स्ट्रीम को सही ढंग से पार्स कर रहा है।

यदि मैं कॉन्टेक्स्ट विंडो सीमा से अधिक पहुँच जाता हूँ तो क्या होता है?

यदि आपका अनुरोध कॉन्टेक्स्ट विंडो सीमा (claudecodeproxyapi.com के लिए 100,000 टोकन) से अधिक हो जाता है, तो API एक त्रुटि लौटाएगा। आपको इनपुट का आकार कम करने की आवश्यकता होगी, लंबे दस्तावेज़ों को ट्रंक करके या अपने प्रॉम्प्ट में टोकन की संख्या कम करके। टोकन को सटीक रूप से गिनने के लिए एक टोकनाइज़र लाइब्रेरी का उपयोग करने पर विचार करें और सुनिश्चित करें कि आपके अनुरोध सीमा के भीतर रहते हैं।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।