Ngajarin Claude Main DOOM, Bukan Cuma Iseng

Gue cukup sering denger orang bilang kalau LLM itu cuma mesin teks. Masuk teks, keluar teks. Tapi cara Andrea Ricci ngehubungin Claude Sonnet sama DOOM bikin asumsi itu goyang.

Bukan pakai API aneh atau cheat, dia cuma ngasih model informasi visual yang sama kayak yang dilihat pemain manusia. Hasilnya, LLM bisa main game lawas kayak manusia beneran.

Apa yang sebenarnya terjadi

Game DOOM di-port ke SCINTIX P4, single board computer dengan form factor Raspberry Pi CM4/CM5 tapi isinya ESP32-P4 dan ESP32-C6. Game jalan di P4 dan tampil di panel MIPI DSI 1024x600. Tapi game ini cuma di-step beberapa frame dalam satu waktu, terus frame itu dikirim ke Claude Sonnet lewat WebSockets.

Jadi model cuma nerima gambar, bukan state game atau data internal. Dari situ Claude harus nebak lagi ngapain, terus jawab dalam bentuk perintah movement dan fire. Sama persis kayak manusia yang baru pertama kali megang game.

Kenapa ini menarik

Proyek ini nunjukin kalau batas LLM itu sering ditentukan sama cara kita ngasih input, bukan cuma kapasitas modelnya. Selama interface-nya kreatif, model bisa diajak kerja di luar teks murni. Ini pola yang sama kayak agent yang ngebaca screenshot buat nyelesain tugas.

Yang bikin makin seru, hardware-nya nggak mahal. Kombinasi single board murah plus LLM yang bisa mikir dari gambar, itu bahan eksperimen yang cukup terjangkau buat siapa aja.

Gue nggak bilang ini bakal ganti cara kita main game. Tapi proyek ini reminder bagus kalau LLM bisa lebih dari sekadar chatbot, kalau kita mau mikir di luar kotak teks.

Sumber: Claude Plays DOOM