Biaya LLM di Cloud Makin Nggak Masuk Akal, Ada Apa?

Lo developer yang sering pake API kayak OpenAI atau Anthropic? Pasti ngerasa sendiri: biaya inference makin lama makin mahal. Bukan perasaan lo aja. Banyak yang mulai nulis dan ngomongin soal sustainability biaya LLM yang sekarang mulai nggak masuk akal.

Artikel dari Aditya Patadia ini ngebahas kenapa struktur biaya LLM saat ini bermasalah dan kenapa model cloud-based yang super berat mungkin nggak sustainable buat jangka panjang.

Biaya komputasi yang brutal

Setiap kali lo ngirim prompt ke LLM besar, ada ribuan GPU yang menyala di balik layar. Semakin besar model, semakin gila biaya compute-nya. Masalahnya, pricing API dari provider besar kayak OpenAI atau Anthropic belum tentu nutupin biaya operasional mereka. Beberapa laporan bahkan bilang mereka masih jual di bawah cost untuk akuisisi pasar.

Ini model bisnis yang mirip startup unicorn jaman dulu: bakar duit dulu, mikirin profit belakangan. Tapi dengan skala AI sekarang, duit yang dibakar itu jumlahnya gila-gilaan.

Efeknya buat developer dan startup

Buat lo yang build produk di atas LLM API, biaya yang fluktuatif dan cenderung naik ini jadi masalah serius. Margin jadi tipis, dan startup kecil bisa kerepotan kalau provider naikin harga sepihak.

Solusinya? Beberapa mulai lirik model open source yang bisa di-self-host pake Ollama atau vLLM. Ada juga yang pindah ke model yang lebih kecil dan efisien. Intinya, ketergantungan ke API LLM besar mulai dipertanyakan.

LLM emang powerful, tapi biayanya saat ini nggak sustainable buat jangka panjang. Mungkin solusinya dari model yang lebih efisien, atau dari pergeseran ke inference di edge. Satu yang pasti: status quo sekarang nggak bakal bertahan lama.

Sumber: Why current LLM costs are not sustainable