Yang Anda butuhkan
- Kunci API dari halaman kunci. Daftar dengan Google atau email dan kata sandi, lalu klaim kredit uji coba gratis senilai $0,50 dengan satu klik.
- Python 3.9 atau lebih baru, untuk menginstal proksi.
- Claude Code terinstal dan berfungsi di mesin Anda.
Mengapa perlu proxy? Claude Code menggunakan format Messages dari Anthropic, dan API kami menggunakan format Chat Completions dari OpenAI dengan ID model uncensored. Proxy menerjemahkan di antara keduanya. Jika Anda ingin latar belakangnya terlebih dahulu, baca panduan pemecahan masalah proxy. Model ini adalah model bobot terbuka, bukan Claude, jadi harapkan perilaku yang berbeda pada tugas multi-langkah yang sulit.
Langkah 1: instal proksi
Gunakan lingkungan virtual agar dependensi proksi tetap terpisah dari proyek Anda:
python3 -m venv ~/litellm-env
source ~/litellm-env/bin/activate
pip install 'litellm[proxy]'
LiteLLM adalah perangkat lunak sumber terbuka pihak ketiga. Perintah dan kunci konfigurasi di bawah ini sesuai dengan dokumentasi publiknya saat penulisan, tetapi periksa dokumentasi terbarunya jika ada flag yang berubah.
Langkah 2: tulis konfigurasi
Buat config.yaml. model_name adalah nama yang dikirim klien. Blok litellm_params menunjukkan tempat untuk meneruskannya. Awalan openai/ memberi tahu LiteLLM untuk berbicara ke server yang kompatibel dengan OpenAI.
cat > config.yaml <<'EOF'
model_list:
- model_name: claude-sonnet
litellm_params:
model: openai/uncensored
api_base: https://api.claudecodeproxyapi.com/v1
api_key: os.environ/UPSTREAM_KEY
EOF
Alias claude-sonnet adalah contoh, bukan persyaratan. Claude Code mungkin mengirim beberapa nama model yang berbeda, misalnya model utama dan model kecil untuk tugas latar belakang. Tambahkan satu entri model_list per nama yang Anda lihat di log proksi, semuanya mengarah ke upstream yang sama. Mengarahkan setiap alias ke uncensored tidak masalah, karena hanya ada satu model.
Kunci dibaca dari variabel lingkungan sehingga tidak pernah masuk ke file yang mungkin Anda komit.
Langkah 3: mulai proksi
export UPSTREAM_KEY="YOUR_KEY"
litellm --config config.yaml --port 4000
Biarkan terminal ini terbuka. Anda harus melihat server mendengarkan di port 4000. Sekarang periksa jalur upstream dari sisi proksi dengan permintaan uji dalam format Anthropic, yang akan dikirim Claude Code:
curl http://localhost:4000/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: sk-local-anything" \
-H "anthropic-version: 2023-06-01" \
-d '{
"model": "claude-sonnet",
"max_tokens": 200,
"messages": [{"role": "user", "content": "Reply with the word ready."}]
}'
Balasan JSON yang kontennya mencakup kata "ready" berarti terjemahan berfungsi dari awal hingga akhir: format Anthropic masuk, format OpenAI ke https://api.claudecodeproxyapi.com/v1, dan kembali. Jika Anda menetapkan kunci utama dalam konfigurasi LiteLLM, gunakan sebagai pengganti sk-local-anything.
Langkah 4: arahkan Claude Code ke proksi
Claude Code membaca alamat API dan token dari variabel lingkungan. Tetapkan dalam shell tempat Anda memulai CLI:
export ANTHROPIC_BASE_URL="http://localhost:4000"
export ANTHROPIC_AUTH_TOKEN="sk-local-anything"
export ANTHROPIC_MODEL="claude-sonnet"
claude
Gunakan alamat proksi tanpa awalan /v1 di sini, karena CLI menambahkan jalurnya sendiri. Token hanya harus memenuhi proksi, karena kunci upstream sebenarnya adalah yang Anda ekspor sebagai UPSTREAM_KEY. Jika Anda menggunakan file pengaturan CLI untuk nilai lingkungan, bukan shell, masukkan tiga nama yang sama di sana. Nama variabel lingkungan untuk Claude Code dapat berubah di antara rilis, jadi verifikasi terhadap dokumentasi Claude Code terbaru jika sesuatu diabaikan.
Langkah 5: jalankan tugas pertama dan pantau log
Mulai kecil. Minta CLI menjelaskan satu file atau menambahkan komentar ke fungsi. Di terminal proksi Anda harus melihat permintaan per langkah. Perhatikan setiap nama model yang muncul; jika satu tidak ada di model_list Anda, proksi menjawab dengan kesalahan, jadi tambahkan dan mulai ulang.
Pemanggilan fungsi sangat penting di sini, karena CLI membaca file dan mengedit kode melalui alat. API mendukung tools, tool_choice dan tool_calls yang di-streaming, dan proxy mengonversinya. Kepatuhan yang lemah terhadap skema alat terlihat sebagai edit yang gagal atau langkah yang diulang. Ketika hal itu terjadi, perpendek tugasnya dan coba lagi sebelum memutuskan bahwa pengaturannya rusak.
Jendela konteks adalah 100.000 token, untuk prompt dan completion secara bersamaan. Sesi panjang yang melebihi batas ini akan gagal, jadi mulailah sesi baru untuk tugas baru. Biayanya sangat kecil, yaitu $0,15 per 1 juta token input dan $0,50 per 1 juta token output: permintaan dengan 20.000 token input dan 800 token output biayanya $0,003 + $0,0004 = $0,0034. Lihat halaman harga untuk isi saldo, yang di situs ini dapat dibayar dengan kripto (USDT di TRC20, USDC di Base).
Pemecahan Masalah
| Yang Anda lihat | Penyebab | Perbaikan |
|---|---|---|
| Koneksi ditolak | Proksi tidak berjalan atau port berbeda | Mulai dan cocokkan port di ANTHROPIC_BASE_URL |
| Proxy 404 atau "model tidak ditemukan" | Nama model yang dikirim CLI tidak ada dalam konfigurasi | Tambahkan nama itu ke model_list |
| Upstream 401 | Salah atau kosong UPSTREAM_KEY | Ekspor ulang kunci di shell proksi dan mulai ulang |
429 dengan concurrency | Lebih dari 8 permintaan paralel (2 pada uji coba) | Kurangi agen paralel |
429 dengan rate_limited | Lebih dari 300 permintaan per menit (60 pada uji coba) | Tunggu sebentar lalu coba lagi |
429 dengan Retry-After: 5 | Beban berlebih sementara | Coba lagi setelah lima detik |
| Stream macet | Permintaan streaming memegang slotnya hingga berakhir | Batalkan di CLI untuk membebaskan slot |
Untuk apa pun yang tidak dibahas di sini, sertakan header respons X-Request-Id saat Anda menghubungi dukungan. Dokumentasi mencantumkan setiap parameter yang didukung.
Jadikan permanen
Mengetik perintah setiap kali menjadi membosankan. Masukkan perintah memulai proxy dalam skrip kecil dan variabel klien dalam alias, sehingga satu perintah akan memulai semuanya:
cat > ~/start-proxy.sh <<'EOF'
. ~/litellm-env/bin/activate
export UPSTREAM_KEY="YOUR_KEY"
exec litellm --config ~/config.yaml --port 4000
EOF
chmod +x ~/start-proxy.sh
alias claude-uncensored='ANTHROPIC_BASE_URL=http://localhost:4000 ANTHROPIC_AUTH_TOKEN=sk-local-anything ANTHROPIC_MODEL=claude-sonnet claude'
Karena variabel hanya diatur untuk satu perintah tersebut, perintah claude normal Anda tetap berfungsi dengan pengaturan bawaan. Tambahkan alias ke profil shell Anda. Lindungi skrip dengan izin file seperti chmod 700, karena skrip tersebut menyimpan kunci Anda.
Beralih kembali
Jika Anda mengekspor variabel di shell saat ini, jalankan unset ANTHROPIC_BASE_URL ANTHROPIC_AUTH_TOKEN ANTHROPIC_MODEL dan jalankan CLI lagi. Tidak ada perubahan di sisi API, jadi tidak ada yang perlu dibatalkan.
Memantau saldo dan pengeluaran Anda
Setiap respons dari API menyertakan X-Balance-USD, yaitu sisa saldo pada kunci Anda. LiteLLM dapat meneruskan header upstream dalam beberapa pengaturan, tetapi cara paling pasti untuk melihat saldo Anda adalah menghubungi upstream secara langsung sesekali:
curl -i https://api.claudecodeproxyapi.com/v1/models \
-H "Authorization: Bearer YOUR_KEY" | grep -i x-balance-usd
Sesi agen tumbuh secara diam-diam. Setiap langkah mengirim ulang konteks kerja, sehingga sesi panjang membutuhkan biaya lebih per permintaan dibandingkan sesi pendek. Memulai sesi baru untuk setiap tugas menjaga input tetap kecil dan tagihan tetap rendah. Pada harga yang dipublikasikan ($0,15 per 1 juta input dan $0,50 per 1 juta output), permintaan dengan 50.000 token input dan 1.000 token output biayanya 50.000 x $0,15 / 1 juta = $0,0075 ditambah $0,0005, yang totalnya $0,008. Dua puluh permintaan seperti itu berjumlah $0,16.
Isi saldo berkisar antara $20 hingga $500 dalam jumlah bulat dan dibayar dengan crypto (USDT pada jaringan TRC20 atau USDC pada jaringan Base) di situs ini. Saldo tidak pernah kedaluwarsa, sehingga isi saldo yang lebih besar dengan bonus +5%, +10%, atau +15% tidak memberikan batas waktu pada saldo Anda.
