TH ▾

หน้าแรกคู่มือ

คู่มือแก้ไขข้อผิดพลาด LLM Proxy สำหรับนักพัฒนา

LLM proxy ทำหน้าที่เป็นชั้นแปลภาษาระหว่างโค้ดแอปพลิเคชันของคุณกับผู้ให้บริการโมเดลภาษาขนาดใหญ่ แต่เอนด์พอยต์ โปรโตคอลสตรีมมิง หรือขีดจำกัดบริบทที่กำหนดค่าไม่ถูกต้องอาจทำให้เกิดความล้มเหลวแบบเงียบๆ คู่มือนี้จะอธิบายกลไกเฉพาะของการดีบัก proxy ตั้งแต่การแก้ไขข้อผิดพลาด 404 ไปจนถึงการจัดการขีดจำกัดอัตรา เพื่อให้โค้ดไคลเอนต์ของคุณเชื่อมต่อได้อย่างน่าเชื่อถือ

คู่มือแก้ไขข้อผิดพลาด LLM Proxy สำหรับนักพัฒนา

ประเด็นสำคัญ

  1. ตรวจสอบ URL พื้นฐานและรูปแบบคีย์ API ก่อนที่จะสรุปว่าโมเดลขัดข้อง
  2. ความล้มเหลวของการสตรีมมิง (SSE) มักเกิดจากการขาดหัวเรื่องหรือการจัดการบัฟเฟอร์ที่ไม่เหมาะสมใน SDK ไคลเอนต์
  3. ขีดจำกัดอัตราถูกบังคับใช้ต่อคีย์ ดังนั้นการสร้างคีย์ใหม่จึงไม่รีเซ็ตตัวนับการใช้งานของคุณทันที
  4. ข้อผิดพลาดหน้าต่างบริบทเกิดขึ้นเมื่อโทเคนพรอมต์และการตอบกลับรวมกันเกินขีดจำกัดสูงสุดของโมเดล

ทำความเข้าใจ Proxy เทียบกับ API โดยตรง

เมื่อคุณเปลี่ยนจากการเรียก API โดยตรงไปเป็น LLM proxy คุณกำลังเพิ่มเซิร์ฟเวอร์กลางที่ทำหน้าที่แปลคำขอของคุณ การเรียก API โดยตรงจะส่งข้อมูลจากไคลเอนต์ของคุณไปยังผู้ให้บริการโมเดลโดยตรง ในขณะที่ proxy จะดักจับคำขอนั้น นำตรรกะของตัวเองมาใช้ (เช่น การกำหนดเส้นทาง การแคช หรือการเลือกโมเดล) แล้วส่งต่อไป สำหรับนักพัฒนาที่ใช้ claude code proxy หรือบริการที่คล้ายกัน เป้าหมายมักจะเป็นความเข้ากันได้แบบเปลี่ยนแทนที่: คุณเปลี่ยน base_url และ api_key แต่ยังคงใช้โค้ดเดิมของคุณ

ข้อเสียเปรียบคือความล่าช้า ทุกๆ proxy เพิ่มการเชื่อมต่อหนึ่งครั้ง หาก proxy มีการปรับแต่งที่ไม่ดี คุณอาจเห็นเวลาในการรับโทเคนแรก (TTFB) ที่สูงขึ้น นอกจากนี้ proxy อาจแก้ไขเฮดเดอร์หรือโครงสร้างบอดี้เล็กน้อย ควรตรวจสอบเสมอว่า proxy รองรับสคีมาที่เข้ากันได้กับ OpenAI ที่ไคลเอนต์ของคุณคาดหวัง หากคุณกำลังดีบักปัญหาการเชื่อมต่อ ให้ยืนยันว่า proxy ทำงานอยู่จริงและไม่เพียงแต่กำหนดค่าผิด

ต่างจากเกตเวย์ทั่วไปที่กำหนดเส้นทางระหว่างผู้ขายหลายราย proxy เฉพาะทางเช่น claudecodeproxyapi.com มุ่งเน้นไปที่โมเดลที่ไม่เซ็นเซอร์เพียงโมเดลเดียว สิ่งนี้หมายความว่าคุณไม่ได้รับคุณลักษณะการกำหนดเส้นทางโมเดล แต่คุณได้รับประสิทธิภาพที่คาดเดาได้สำหรับสถาปัตยกรรมเฉพาะนั้น

แก้ไขข้อผิดพลาด '404 Not Found'

ข้อผิดพลาด 404 จาก LLM proxy มักบ่งชี้ว่า URL ฐานเสียหายหรือเส้นทางเอนด์พอยต์ไม่ถูกต้อง ข้อผิดพลาดที่พบบ่อยที่สุดคือการเพิ่ม /chat/completions เกินมา หรือขาด /v1 พรีฟิกซ์ ตัวอย่างเช่น การใช้ https://api.claudecodeproxyapi.com/chat/completions แทนที่ https://api.claudecodeproxyapi.com/v1/chat/completions จะล้มเหลว

  • ตรวจสอบ URL ฐาน: ตรวจสอบว่าคุณใช้ URL ที่ถูกต้องตามที่ผู้ให้บริการ proxy ของคุณระบุไว้ อย่าสันนิษฐานว่ามันเป็นไปตามรูปแบบมาตรฐาน
  • ตรวจสอบเอนด์พอยต์: ส่วนใหญ่ proxy ที่เข้ากันได้กับ OpenAI ใช้ POST /v1/chat/completions บาง proxy รุ่นเก่าหรือแบบกำหนดเองอาจใช้ POST /completions สำหรับโมเดลข้อความรุ่นเก่า
  • ตรวจสอบบอดี้ของรีสปอนส์: รีสปอนส์ 404 มักมีข้อความข้อผิดพลาด JSON ที่อธิบายเส้นทางที่หายไป

If you are using a standard SDK like OpenAI's Python or Node client, ensure you are not manually constructing the URL if the SDK expects just the base. Double-check that your proxy supports the /v1 prefix. If the error persists, try a simple curl request to isolate whether the issue is in your code or the proxy itself.

แก้ไขปัญหาสตรีมมิง (SSE)

การสตรีมมิงผ่าน Server-Sent Events (SSE) ทำให้คุณสามารถรับคำตอบทีละโทเคนแทนที่จะรอการตอบกลับเต็มรูปแบบ สิ่งนี้สำคัญมากสำหรับอินเทอร์เฟซแชท หากสตรีมมิงล้มเหลว แอปพลิเคชันของคุณอาจค้างหรือแสดงการตอบกลับทั้งหมดในครั้งเดียว

  • ตรวจสอบเฮดเดอร์: ตรวจสอบว่าคำขอของคุณมี Accept: text/event-stream และ Content-Type: application/json บาง proxy ต้องการค่าเหล่านี้โดยเฉพาะ
  • จัดการสตรีมอย่างถูกต้อง: ใช้การสนับสนุนสตรีมมิงที่มีอยู่ใน SDK ของคุณ การแยกวิเคราะห์ข้อมูล SSE ด้วยตนเองอาจมีข้อผิดพลาดหากคุณพลาดเหตุการณ์ขอบเขตเช่น data: [DONE]
  • ดีบัก: หากสตรีมตัดขาดก่อนกำหนด ให้ตรวจสอบการหยุดชะงักของเครือข่ายหรือการตั้งค่าไทม์เอาต์ของ proxy

สำหรับ claude code proxy ที่รองรับสตรีมมิง ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณได้รับการกำหนดค่าให้จัดการรีสปอนส์แบบบางส่วน หากคุณเปลี่ยนจากการใช้ API โดยตรงเป็น proxy ให้ตรวจสอบว่า proxy ดำเนินการ SSE จริงหรือไม่ proxy ทั้งหมดไม่รองรับการสตรีมมิง และบางรายอาจเปลี่ยนกลับไปใช้รีสปอนส์ JSON มาตรฐานหากไม่มีการขอสตรีมมิง

จัดการขีดจำกัดอัตรา (300 RPM)

ขีดจำกัดอัตราป้องกันการละเมิดและรับประกันการใช้งานทรัพยากรที่เป็นธรรม จุดสับสนทั่วไปคือขีดจำกัดอัตรามักผูกติดกับคีย์ API ของคุณ ไม่ใช่บัญชีของคุณ หากคุณมีคีย์เดียว คุณจะถูกจำกัดด้วยโควตาของคีย์นั้น

สำหรับ claudecodeproxyapi.com ขีดจำกัดคือ 300 คำขอต่อนาทีต่อคีย์ หากคุณเกินขีดจำกัดนี้ คุณจะได้รับข้อผิดพลาด 429 Too Many Requests เพื่อแก้ไขปัญหานี้:

  • นำแบกออฟแบบเอกซ์โพเนนเชียลไปใช้: ลองใหม่คำขอที่ล้มเหลวโดยเพิ่มระยะเวลา
  • ตรวจสอบเฮดเดอร์ Retry-After: เฮดเดอร์นี้มักบ่งชี้ระยะเวลาที่ต้องรอก่อนลองใหม่
  • สร้างคีย์ของคุณใหม่: แม้ว่าคุณจะสามารถสร้างคีย์ใหม่ได้ แต่โปรดทราบว่าสิ่งนี้ไม่ได้รีเซ็ตตัวนับขีดจำกัดอัตราของคุณทันที คีย์ใหม่จะสืบทอดประวัติการใช้งานของคีย์เก่าในช่วงระยะเวลาสั้นๆ

ต่างจากผู้ให้บริการบางรายที่เสนอคีย์หลายคีย์ต่อบัญชี บริการนี้ให้คีย์หนึ่งคีย์ต่อบัญชี หากคุณต้องการปริมาณงานที่สูงขึ้น คุณอาจต้องนำระบบคิวฝั่งไคลเอนต์ไปใช้หรืออัปเกรดแผนของคุณหากมีให้บริการ

ข้อผิดพลาดหน้าต่างบริบทเกิน

หน้าต่างบริบทคือจำนวนโทเคนสูงสุด (พรอมต์ + การตอบกลับ) ที่โมเดลสามารถประมวลผลได้ในคำขอเดียว หากพรอมต์ของคุณเกินขีดจำกัดนี้ API จะส่งข้อผิดพลาดกลับมา สำหรับ claudecodeproxyapi.com หน้าต่างบริบทคือ 100,000 โทเคน

  • คำนวณการใช้งานโทเคน: ใช้ไลบรารีตัวนับโทเคนเพื่อนับโทเคนในพรอมต์และการตอบกลับที่คาดไว้ ควรประเมินอย่างระมัดระวัง โดยประมาณการว่าการตอบกลับจะกินพื้นที่ 10-20% ของหน้าต่างบริบท
  • ตัดข้อมูลนำเข้าที่ยาว: หากคุณส่งเอกสารขนาดใหญ่ ให้ตัดส่วนที่ไม่เกี่ยวข้องออก
  • ตรวจสอบข้อความระบบ: พรอมต์ระบบและคำจำกัดความของฟังก์ชันนับรวมอยู่ในหน้าต่างบริบท อย่าประเมินขนาดของพวกมันต่ำเกินไป

หากคุณพบข้อผิดพลาดหน้าต่างบริบท ให้ลดขนาดอินพุตหรือเพิ่มขีดจำกัดของโมเดลหากผู้ให้บริการมีตัวเลือกบริบทที่ใหญ่กว่า โปรดจำไว้ว่าขีดจำกัดใช้กับโทเคนทั้งหมดที่ส่งในคำขอเดียว ไม่ใช่แค่ข้อความอินพุต

การตรวจสอบสิทธิ์และการสร้างคีย์ใหม่

การตรวจสอบสิทธิ์มักจัดการผ่านคีย์ API ที่ส่งในเฮดเดอร์ Authorization: Bearer หากคุณได้รับข้อผิดพลาด 401 Unauthorized ให้ตรวจสอบว่าคีย์ของคุณถูกต้องและยังไม่หมดอายุ

proxy ส่วนใหญ่อนุญาตให้คุณสร้างคีย์ API ใหม่ได้ เมื่อคุณสร้างคีย์ใหม่:

  • คีย์เก่าจะถูกเพิกถอน: คำขอที่ใช้คีย์เก่าจะล้มเหลวทันที
  • สร้างคีย์ใหม่: อัปเดตตัวแปรสภาพแวดล้อมหรือไฟล์กำหนดค่าของคุณเพื่อใช้คีย์ใหม่
  • ประวัติการใช้งานจะถูกเก็บรักษา: สถิติการเรียกเก็บเงินและการใช้งานของคุณจะไม่ถูกรีเซ็ตเมื่อคุณสร้างคีย์ใหม่

สำหรับ claudecodeproxyapi.com คุณสามารถสร้างคีย์ใหม่ได้ทุกเมื่อจากแดชบอร์ดของคุณ สิ่งนี้มีประโยชน์หากคุณสงสัยว่าคีย์ของคุณถูกเปิดเผย ตรวจสอบให้แน่ใจว่าคุณได้อัปเดตไคลเอนต์ทั้งหมดที่ใช้คีย์นี้ก่อนสร้างคีย์ใหม่ มิฉะนั้นไคลเอนต์เหล่านั้นจะไม่สามารถใช้งานได้

การแก้ไขข้อผิดพลาดการเรียกใช้เครื่องมือ

การเรียกใช้เครื่องมือ (function calling) ช่วยให้โมเดลสามารถขอการดำเนินการเฉพาะจากโค้ดของคุณ หากการเรียกใช้เครื่องมือล้มเหลว โมเดลอาจไม่สามารถเรียกใช้ฟังก์ชันที่ต้องการ หรือโค้ดของคุณอาจไม่สามารถแยกวิเคราะห์อาร์กิวเมนต์ของฟังก์ชันได้

  • ตรวจสอบสคีมาของฟังก์ชัน: ตรวจสอบให้แน่ใจว่าคำจำกัดความของฟังก์ชันของคุณตรงกับสคีมาที่ proxy คาดหวัง ประเภทพารามิเตอร์ที่ไม่ตรงกันหรือฟิลด์ที่จำเป็นที่หายไปอาจทำให้เกิดความล้มเหลว
  • จัดการการตอบกลับบางส่วน: เมื่อสตรีมมิง การเรียกใช้ฟังก์ชันอาจมาถึงเป็นชิ้นส่วน ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณสามารถรวมชิ้นส่วนเหล่านี้เป็นการเรียกใช้ฟังก์ชันที่สมบูรณ์ได้
  • ตรวจสอบข้อความข้อผิดพลาด: หากโมเดลไม่สามารถเรียกใช้เครื่องมือได้ การตอบกลับของ API มักจะรวมข้อความข้อผิดพลาดที่อธิบายสาเหตุ (เช่น JSON ไม่ถูกต้องในอาร์กิวเมนต์)

สำหรับ claude code proxy ที่รองรับการเรียกใช้ฟังก์ชัน ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณได้รับการกำหนดค่าให้จัดการรูปแบบการตอบกลับของเครื่องมือ หากคุณเปลี่ยนจาก API โดยตรง ให้ตรวจสอบว่าพร็อกซีรองรับแผนการเรียกใช้ฟังก์ชันเดียวกัน พร็อกซีบางตัวอาจต้องการการกำหนดค่าเพิ่มเติมเพื่อเปิดใช้งานการเรียกใช้ฟังก์ชัน

การจัดการขีดจำกัดขนาดบอดีคำขอ

API ส่วนใหญ่กำหนดขีดจำกัดขนาดของบอดีคำขอเพื่อป้องกันการใช้งานทรัพยากรมากเกินไป หากบอดีคำขอของคุณเกินขีดจำกัดนี้ API จะส่งข้อผิดพลาด 413 Payload Too Large กลับมา

สำหรับ claudecodeproxyapi.com ขีดจำกัดบอดีคำขอคือ 8 MB ขีดจำกัดนี้ใช้กับ HTTP request ทั้งหมด รวมถึงเฮดเดอร์และบอดี JSON เพื่อจัดการสิ่งนี้:

  • บีบอัดข้อมูลนำเข้าขนาดใหญ่: หากคุณส่งไฟล์ขนาดใหญ่ ให้พิจารณาบีบอัดไฟล์เหล่านั้นก่อนส่ง
  • ลดขนาด payload: ลบฟิลด์ที่ไม่จำเป็นออกจากคำขอ JSON ของคุณ ส่งเฉพาะพารามิเตอร์ที่จำเป็นสำหรับ API
  • ตรวจสอบขนาดคำขอ: บันทึกขนาดคำขอของคุณเพื่อระบุเมื่อคุณเข้าใกล้ขีดจำกัด

หากคุณชนกับขีดจำกัดนี้บ่อยๆ ให้พิจารณาแบ่งงานขนาดใหญ่เป็นคำขอที่เล็กลงหรือใช้พร็อกซีที่รองรับ payload ขนาดใหญ่กว่า

ขั้นตอนถัดไปและการสนับสนุน

หากคุณได้ทำตามขั้นตอนการแก้ไขข้อผิดพลาดเหล่านี้แล้วและยังคงประสบปัญหา ให้พิจารณาขั้นตอนถัดไปดังต่อไปนี้:

  • ตรวจสอบหน้าสถานะของ proxy: ผู้ให้บริการบางรายเผยแพร่สถานะแบบเรียลไทม์สำหรับบริการของพวกเขา
  • ตรวจสอบเอกสาร API: ตรวจสอบว่าคุณใช้เวอร์ชันล่าสุดของ API และไคลเอนต์ของคุณอัปเดตแล้ว
  • ติดต่อฝ่ายสนับสนุน: หากปัญหายังคงอยู่ ให้ติดต่อทีมสนับสนุนของผู้ให้บริการ proxy พร้อม ID คำขอและบันทึกข้อผิดพลาดของคุณ

สำหรับ claudecodeproxyapi.com คุณสามารถค้นหาแหล่งข้อมูลเพิ่มเติมและเอกสารบนเว็บไซต์ของเรา เราเสนอระบบเครดิตแบบเติมเงินล่วงหน้าโดยไม่มีค่าธรรมเนียมรายเดือน ทำให้ง่ายต่อการทดสอบและผสานโมเดลที่ไม่เซ็นเซอร์ของเราเข้ากับแอปพลิเคชันของคุณ

ถาม-ตอบ

ความแตกต่างระหว่าง LLM proxy และ LLM gateway คืออะไร?

LLM proxy โดยทั่วไปทำหน้าที่เป็นชั้นโปร่งใส โดยส่งต่อคำขอไปยังโมเดลเดียวหรือชุดโมเดลที่กำหนด LLM gateway มักรวมตรรกะการกำหนดเส้นทางขั้นสูง ซึ่งช่วยให้คุณส่งคำขอไปยังโมเดลที่แตกต่างกันตามต้นทุน เวลาแฝง หรือความสามารถ พร็อกซีมีความเรียบง่ายกว่าและมักมีประสิทธิภาพดีกว่าสำหรับกรณีการใช้งานโมเดลเดียว ในขณะที่เกตเวย์ให้ความยืดหยุ่นมากขึ้นสำหรับสถาปัตยกรรมหลายโมเดล

claudecodeproxyapi.com รองรับคีย์ API หลายคีย์ต่อบัญชีหรือไม่?

ไม่ claudecodeproxyapi.com ให้คีย์ API หนึ่งคีย์ต่อบัญชี คุณสามารถสร้างคีย์ใหม่ได้ทุกเมื่อ แต่ไม่สามารถมีคีย์ที่ใช้งานพร้อมกันได้หลายคีย์ภายใต้บัญชีเดียว หากคุณต้องการปริมาณงานที่สูงขึ้น คุณอาจต้องนำระบบคิวฝั่งไคลเอนต์ไปใช้ หรืออัปเกรดแผนบริการหากมี

ฉันจัดการรีสปอนส์สตรีมมิงจาก LLM proxy ได้อย่างไร?

เพื่อจัดการการตอบกลับแบบสตรีมมิง ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณร้องขอ header Accept: text/event-stream ใช้การรองรับสตรีมมิงในตัวของ SDK ของคุณเพื่อประมวลผลข้อมูล Server-Sent Events (SSE) สิ่งนี้ช่วยให้คุณได้รับคำตอบทีละโทเคน ซึ่งปรับปรุงประสบการณ์ผู้ใช้สำหรับอินเทอร์เฟซแชท หากสตรีมมิงล้มเหลว ให้ตรวจสอบว่าพร็อกซีรองรับ SSE และไคลเอนต์ของคุณกำลังแยกวิเคราะห์สตรีมเหตุการณ์อย่างถูกต้อง

เกิดอะไรขึ้นหากฉันเกินขีดจำกัดหน้าต่างบริบท?

หากคำขอของคุณเกินขีดจำกัดหน้าต่างบริบท (100,000 โทเคนสำหรับ claudecodeproxyapi.com) API จะส่งข้อผิดพลาดกลับมา คุณต้องลดขนาดข้อมูลนำเข้าโดยการตัดเอกสารที่ยาวออก หรือลดจำนวนโทเคนในพรอมต์ของคุณ พิจารณาใช้ไลบรารีตัวนับโทเคนเพื่อนับโทเคนอย่างแม่นยำและเพื่อให้คำขอของคุณอยู่ในขีดจำกัด

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ เปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด