LLM Judge Bisa Buta Sama Informasi yang Hilang, Bahaya Buat Evaluasi AI

Riset terbaru nunjukin LLM judge lebih jago memverifikasi informasi yang ada daripada mendeteksi informasi yang hilang. Buat tim yang andalkan AI buat evaluasi, ini red flag yang harus dipahami.

[AI][LLM]

Kalau lo ngembangin produk yang pakai AI, pasti makin sering denger istilah LLM-as-a-judge. Model dipakai buat nilai jawaban model lain, entah buat benchmark, evaluasi RAG, sampai bantu nyusun catatan medis. Kelihatannya efisien banget, tapi riset yang muncul di arXiv baru-baru ini nunjukin ada kelemahan yang cukup serius.

Studi berjudul LLM Judges Verify Presence, Not Absence ini mengangkat fenomena omission blindness. Intinya, LLM judge cenderung cek hal yang muncul di teks, tapi sering gagal nyadar kalau ada informasi penting yang justru nggak ditulis sama sekali.

Inti masalahnya

Sistem evaluasi berbasis LLM biasanya kerja dengan cara ngebandingin output model sama semacam ground truth atau rubrik. Masalahnya, kalau pemeriksaannya cuma fokus ke kehadiran poin tertentu, jawaban yang bagus di permukaan tapi bolong di bagian lain bisa gampang lolos.

Dalam konteks AI clinical notes, ini bukan sekadar soal skor benchmark. Catatan medis yang kehilangan detail penting bisa berdampak langsung ke keputusan dokter. Makanya omission blindness bukan temuan akademis yang menarik doang, tapi sinyal buat semua tim AI buat lebih hati-hati.

Kenapa LLM judge rawan ke sini

Alasannya cukup sederhana. LLM dilatih buat memprediksi pola teks, bukan buat mikir soal hal yang nggak ada. Ngecek ketidakhadiran butuh penalaran negatif, dan itu justru titik lemah model generatif.

Belum lagi bias ke arah kelengkapan permukaan. Jawaban yang ditulis rapi dan detail biasanya dinilai lebih baik, walaupun ada bagian krusial yang dilompatin. Buat tim yang udah full otomatis andelin LLM judge, risiko kayak gini gampang kelewat.

Singkatnya, LLM judge itu alat yang powerful tapi bukan pengganti penalaran manusia sepenuhnya. Selama blind spot kayak omission blindness masih ada, evaluasi AI terbaik tetap yang nggabungin otomatisasi sama pengawasan manusia. Buat tim AI di Indonesia yang mulai banyak adopsi LLM, ini pelajaran penting biar nggak keburu percaya sama skor yang kelihatan mulus.

Sumber: LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes