Model biaya GPU yang tak ada yang menulisnya sebelum membeli hardware
Self-host baru menang biaya per token di atas ambang utilisation yang hampir tak ada yang capai. Di bawahnya Anda membayar silikon menganggur dan perhatian engineer — dan hanya yang pertama yang tercatat di spreadsheet.
Perbandingan yang semua orang lakukan
Di setiap diskusi build-versus-buy selalu ada spreadsheet dengan dua angka: harga API per juta token, dan sewa GPU per jam dibagi throughput asumsi. Angka kedua biasanya tiga sampai sepuluh kali lebih kecil, lalu rapat selesai.
Aritmatikanya tidak salah. Yang salah adalah penyebutnya. Ia membagi dengan throughput yang bisa diberikan kartu itu, bukan yang akan diberikannya.
Angka yang sebenarnya menentukan
Utilisasi. A100 atau H100 sewaan yang ditagih per jam biayanya sama, melayani satu request atau sepuluh ribu. API menagih token yang benar-benar Anda pakai. Jadi titik potongnya bukan soal harga, melainkan berapa jam per hari kartu Anda benar-benar sibuk.
Ambil bentuk konkret: trafik stabil beberapa juta token per hari, terkonsentrasi di jam kerja. Itu beban yang membuat satu kartu jenuh sekitar seperempat hari dan menganggur sisanya. Dihitung per token yang benar-benar dilayani, jam menganggur itu overhead murni, dan API menang telak. Dorong trafik yang sama jadi beban 24 jam dengan batching, barulah peringkatnya berbalik.
Apa yang absen dari spreadsheet
Dua biaya hilang secara sistematis. Pertama, engineer. Seseorang harus memiliki serving stack, upgrade model, kompatibilitas CUDA dan driver, kebijakan autoscaling, dan on-call. Ini bukan item yang bisa difakturkan, tapi ini porsi nyata dari seorang manusia, dan tidak menyusut saat trafik turun.
Kedua, budget retry dan kegagalan. API terkelola menyerap jam-jam buruknya sendiri. Cluster Anda menyerap milik Anda sendiri, dalam bentuk insiden — dan insiden saat pilot pelanggan biayanya lebih besar daripada komputasi yang ia interupsi.
Cara memutuskannya yang sebenarnya
Ukur sebelum membeli. Jalankan beban kerja di hardware sewaan selama dua minggu dengan trafik nyata, catat token yang dilayani dan jam GPU yang ditagihkan, lalu hitung biaya riil per juta token. Bandingkan dengan harga API di tier kualitas yang sama. Hasilnya spesifik untuk bentuk trafik Anda — itulah sebabnya tabel perbandingan generik tak bisa menjawabnya untuk Anda.
Lalu putuskan berdasarkan faktor non-biaya, yang biasanya justru penggerak sejati: data residency, latensi ke pengguna, kebebasan dari rate limit, dan apakah Anda butuh model yang tak ada yang melayaninya.
Yang bisa Anda lakukan sekarang
- Self-host hanya menang biaya di atas ambang utilisasi yang harus Anda ukur, bukan asumsikan
- Dua biaya selalu absen dari spreadsheet: porsi engineer, dan budget insiden
- Jalankan beban nyata di hardware sewaan dua minggu sebelum berkomitmen apa pun
- Data residency dan kebebasan rate limit biasanya memutuskan lebih dulu sebelum biaya