VI ▾

Trang chủHướng dẫn

Proxy Claude Code: Sử dụng API LLM tương thích OpenAI

Proxy Claude Code là một máy chủ nhỏ nằm giữa CLI và API mô hình và chuyển đổi các yêu cầu. Bạn cần một proxy vì Claude Code sử dụng định dạng Anthropic và API này sử dụng định dạng OpenAI.

Một hộp dịch thuật giữa terminal và máy chủ, cho thấy proxy chuyển đổi các yêu cầu giữa hai định dạng API

Điểm chính

  1. Claude Code gửi các yêu cầu kiểu Anthropic; API này chấp nhận các yêu cầu kiểu OpenAI
  2. Một proxy chuyển đổi như LiteLLM nằm ở giữa và ánh xạ tên mô hình
  3. Mô hình phía sau là một mô hình trọng số mở, không phải Claude, vì vậy hãy thử nghiệm nó trên các tác vụ của riêng bạn
  4. Một phiên lập trình 30 yêu cầu với 20.000 token đầu vào và 800 token đầu ra mỗi yêu cầu tốn khoảng $0,10

Proxy làm gì

Proxy Claude Code là bất kỳ máy chủ nào bạn chạy giữa CLI lập trình của Anthropic và mô hình trả lời. Claude Code đọc một biến môi trường để lấy địa chỉ API và gửi các yêu cầu của nó đến đó. Nếu địa chỉ đó là proxy, proxy sẽ quyết định những gì thực sự xảy ra: nó có thể ghi lại lưu lượng, thêm quy tắc hoặc chuyển tiếp cuộc gọi đến một mô hình khác.

Chi tiết quan trọng là định dạng truyền tải. Claude Code sử dụng định dạng Messages của Anthropic. API tại https://api.claudecodeproxyapi.com/v1 sử dụng định dạng Chat Completions của OpenAI, với model ID uncensored. Hai định dạng này gần gũi về mặt tinh thần nhưng không thể hoán đổi cho nhau, vì vậy bạn không thể dán URL của chúng tôi trực tiếp vào Claude Code. Một lớp chuyển đổi phải viết lại từng yêu cầu và từng phản hồi, bao gồm cả các chunk truyền phát và các cuộc gọi công cụ.

Vị trí của từng thành phần

PhầnNóiNhiệm vụ
Claude Code CLIĐịnh dạng Anthropic MessagesLên kế hoạch chỉnh sửa, gọi công cụ, hiển thị diff
Proxy chuyển đổi (cục bộ)Cả hai định dạngChuyển đổi các yêu cầu và luồng, ánh xạ tên mô hình
API nàyChat Completions OpenAIChạy mô hình trọng số mở, tính phí theo token

Các dự án cộng đồng xử lý phần giữa. Proxy của LiteLLM và claude-code-router là hai dự án được tài liệu hóa công khai cho mục đích này. Cả hai đều là phần mềm của bên thứ ba, vì vậy hãy kiểm tra tài liệu hiện tại của chúng về các phiên bản và flag được hỗ trợ trước khi xây dựng dựa trên chúng. Nếu có lỗi xảy ra trong quá trình, hướng dẫn khắc phục sự cố proxy là nơi bạn nên bắt đầu, và trang web này cũng có một bài viết thiết lập từng bước riêng.

Trước khi thiết lập: hãy trung thực về mô hình

Claude Code được xây dựng xung quanh các mô hình của riêng Anthropic. Việc thay thế bằng một mô hình khác sẽ thay đổi hành vi, và không có proxy nào có thể che giấu điều đó. Mô hình ở đây là một mô hình trọng số mở do một nhà cung cấp độc lập chạy và được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp của người trưởng thành. Nó không phải là Claude, và nó không phải là API chính thức của Anthropic hoặc bất kỳ nhà cung cấp nào khác.

Những gì nó mang lại cho bạn cho các tác vụ kiểu agent:

  • Gọi công cụ với tools, tool_choice và tool_calls được truyền phát, với kết quả được trả lại dưới dạng các thông báo role: "tool".
  • Cửa sổ ngữ cảnh 100.000 token, bao gồm cả prompt và completion.
  • Chế độ JSON với response_format, và truyền phát qua SSE.

Những gì bạn nên tự xác minh: mức độ tuân theo vòng lặp agent dài, tần suất tạo các lệnh gọi công cụ bị lỗi cú pháp và cách nó xử lý ngôn ngữ và framework của bạn. Hãy chạy ba hoặc bốn tác vụ thực tế từ kho lưu trữ của bạn trước khi di chuyển toàn bộ quy trình làm việc. Tín dụng dùng thử $0,50, được nhận chỉ với một cú nhấp chuột sau khi đăng nhập, là đủ cho việc đó.

Kiểm tra upstream trước

Trước khi chạm vào Claude Code, hãy xác nhận rằng phía API hoạt động với một yêu cầu đơn giản, bao gồm một cuộc gọi công cụ, vì các agent phụ thuộc vào nó:

curl https://api.claudecodeproxyapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the files in the src folder."}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "list_files",
        "description": "List files in a directory",
        "parameters": {
          "type": "object",
          "properties": {"path": {"type": "string"}},
          "required": ["path"]
        }
      }
    }],
    "tool_choice": "auto"
  }'

Một câu trả lời tốt chứa một mục tool_calls với list_files và một chuỗi đối số JSON. Nếu bạn thấy điều đó, upstream đã sẵn sàng và mọi sự cố sau đó thuộc về cấu hình proxy hoặc CLI.

Hai tuyến và cách chọn từng tuyến

Tuyến 1: proxy dịch thuật cho Claude Code

Chọn tùy chọn này nếu bạn thích giao diện Claude Code, các lời nhắc cấp quyền và quy trình làm việc của nó, và muốn một mô hình khác phía sau nó. Bạn chạy proxy cục bộ, trỏ CLI vào nó và ánh xạ các tên mô hình mà CLI gửi đến uncensored. Các biến chính xác được đề cập trong tài liệu và bài viết thiết lập.

Tuyến 2: một client đã hỗ trợ OpenAI

Nhiều trợ lý mã hóa và tiện ích mở rộng trình soạn thảo mã nguồn mở, bao gồm Aider, Continue và Cline, có thể sử dụng bất kỳ endpoint tương thích OpenAI nào trực tiếp. Bạn nhập base URL, khóa và tên mô hình và không có lớp chuyển đổi nào để duy trì. Nếu bạn không cụ thể cần giao diện Claude Code, đây là con đường ngắn hơn và có ít bộ phận hơn có thể bị hỏng.

Một quy tắc chung: chọn tuyến 2 để dùng thử nhanh mô hình trên mã, và chọn tuyến 1 khi nhóm của bạn đã dựa vào quy trình làm việc Claude Code.

Chi phí cho một phiên lập trình

Các agent gửi lại rất nhiều ngữ cảnh, vì vậy các token đầu vào chiếm phần lớn hóa đơn. Hãy lấy một phiên gồm 30 yêu cầu, mỗi yêu cầu có 20.000 token đầu vào (tệp, lịch sử, kết quả công cụ) và 800 token đầu ra:

  • Đầu vào: 30 x 20.000 = 600.000 token, tương đương 0,6 x $0,15 = $0,09
  • Đầu ra: 30 x 800 = 24.000 token, tương đương 0,024 x $0,50 = $0,012
  • Tổng cộng: $0,102

Giá là $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra. Thanh toán trừ từ tín dụng trả trước, không có gói đăng ký; các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng không hết hạn. Nạp tiền từ $20 đến $500 kèm thêm +5% từ $50, +10% từ $100 và +15% từ $200. Trang web này chấp nhận nạp tiền bằng crypto (USDT trên TRC20, USDC trên Base). Trang giá cả có bảng giá đầy đủ, và trang khóa API là nơi bạn đăng nhập bằng Google hoặc email.

Giới hạn ảnh hưởng đến vòng lặp agent

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Các agent phân tán các tác vụ con có thể chạm ngưỡng giới hạn đồng thời trước. API sau đó trả về HTTP 429 với mã concurrency, trong khi giới hạn tốc độ yêu cầu trả về rate_limited. Một sự quá tải tạm thời cũng trả về 429, kèm theo Retry-After: 5. Một proxy tốt sẽ thử lại khi nhận 429 sau khoảng thời gian chờ, và một yêu cầu truyền phát giữ vị trí của nó cho đến khi luồng kết thúc, vì vậy các luồng bị kẹt sẽ tính vào hạn mức của bạn.

Thân yêu cầu có thể lên đến 8 MB. Hãy nhớ điều đó nếu công cụ của bạn dán các tệp lớn vào prompt, và giữ toàn bộ prompt dưới cửa sổ 100.000 token.

Lưu ý bảo mật cho proxy cục bộ

Một proxy lưu trữ khóa upstream của bạn, vì vậy hãy coi nó như bất kỳ thông tin xác thực nào khác. Liên kết nó với localhost, không phải tất cả các giao diện mạng, trừ khi bạn thực sự cần các máy khác truy cập vào nó. Lưu khóa trong biến môi trường hoặc bộ quản lý bí mật thay vì trong một tệp sẽ được đưa vào kiểm soát phiên bản. Nếu bạn chia sẻ proxy với một nhóm, hãy cấp cho nó một khóa master riêng để bạn có thể xoay vòng nó mà không cần chạm vào khóa upstream.

Ngoài ra, hãy nhớ những gì một agent gửi đi. Một CLI lập trình chuyển tiếp nội dung tệp, kết quả lệnh và các prompt của bạn đến mô hình. Các prompt không được sử dụng để huấn luyện ở đây, nhưng bạn vẫn nên giữ các bí mật như khóa riêng và tệp .env ra khỏi thư mục làm việc mà agent có thể đọc.

Một cách công bằng để đánh giá mô hình trên mã của bạn

Chọn ba tác vụ có độ khó tăng dần từ một kho lưu trữ thực tế: một sửa đổi một tệp, một thay đổi ảnh hưởng đến ba tệp và một refactoring nhỏ có kiểm thử. Chạy mỗi tác vụ hai lần với cùng một prompt, một lần với mô hình hiện tại của bạn và một lần với uncensored, và ghi chú về bốn điều: các sửa đổi đã được áp dụng sạch sẽ chưa, các lệnh gọi công cụ đã được phân tích cú pháp chưa, cần bao nhiêu lần thử lại và mỗi lần chạy tốn bao nhiêu. Một giờ làm việc này cho bạn biết nhiều hơn bất kỳ bảng xếp hạng nào.

Nếu mô hình trọng số mở không đạt yêu cầu trong nhiệm vụ khó nhất, bạn vẫn có thể thấy nó phù hợp cho các công việc rẻ hơn như soạn thảo kiểm thử, viết thông báo commit hoặc giải thích mã không quen thuộc. Vì thanh toán theo mức sử dụng từ tín dụng trả trước không cần gói đăng ký, nên không có hình phạt nào khi chỉ sử dụng nó cho những công việc đó.

Hỏi đáp

Claude Code có thể sử dụng API này mà không cần proxy không?

Không. Claude Code gửi các yêu cầu định dạng Anthropic và API này chấp nhận các yêu cầu định dạng OpenAI, vì vậy cần một lớp chuyển đổi giữa chúng.

Mô hình sẽ hoạt động như Claude không?

Không. Đó là một mô hình trọng số mở từ một nhà cung cấp độc lập. Hãy kiểm tra nó trên các nhiệm vụ của riêng bạn trước khi dựa vào nó.

API có hỗ trợ gọi công cụ không?

Có. Nó hỗ trợ công cụ, tool_choice và tool_calls được truyền phát, và bạn trả kết quả dưới dạng các thông báo với role tool.

Có tùy chọn dễ dàng hơn proxy không?

Có. Các trợ lý mã hóa chấp nhận endpoint tương thích OpenAI, chẳng hạn như Aider, Continue hoặc Cline, có thể kết nối trực tiếp với base URL.

Chi phí dùng thử là bao nhiêu?

Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột sau khi đăng ký. Tín dụng này có hiệu lực trong 7 ngày và không cần thẻ.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.