Deployment & Inference ★ 24.0k

LiteLLM

Satu antarmuka bergaya OpenAI untuk 100+ provider model, plus proxy yang melacak pengeluaran per key.

LiteLLM menyeragamkan API berbagai provider lewat satu SDK dan menyediakan proxy server dengan budget, rate limit, serta fallback otomatis. Ini cara termurah untuk menghindari mengunci satu vendor di aplikasi yang kelak harus dimigrasi.

Cocok untuk: Routing multi-provider, kontrol biaya, fallback

Deployment: Bisa self-host