AI Slop Menang 25 Ribu Dolar di Kompetisi DeepMind, Ini Masalahnya

Bayangin lo ngikutin kompetisi machine learning bergengsi, ngabisin waktu berminggu-minggu, terus yang menang adalah AI-generated slop. Itu yang baru aja terjadi di kompetisi Kaggle yang disponsori DeepMind dengan hadiah $25.000.

Apa yang terjadi

Sebuah submission yang basically adalah AI-generated content, atau yang sekarang sering disebut AI slop, berhasil menang grand prize di kompetisi Kaggle Measuring AGI. Kontroversinya: submission itu dianggap nggak punya substansi teknis yang berarti, cuma manfaatin celah di sistem evaluasi.

Di forum Kaggle, banyak peserta yang protes. Mereka ngerasa kompetisi yang seharusnya ngukur kemampuan AGI malah dihajar sama strategi yang agak curang.

Kenapa ini penting

Insiden ini buka pertanyaan serius soal bagaimana kita ngevaluasi AI. Kalau kompetisi yang dirancang sama DeepMind aja bisa ditembus pake AI slop, gimana dengan sistem evaluasi AI di dunia nyata?

Ini jadi pengingat: benchmark dan kompetisi AI perlu dirancang lebih hati-hati. Jangan sampai yang diukur adalah kemampuan gaming the system, bukan kemampuan AI beneran.

$25.000 buat AI slop. Lucu sekaligus miris. Tapi setidaknya jadi wake-up call buat industri AI buat bikin evaluasi yang lebih robust.

Sumber: Blatant AI slop just won a 25k USD DeepMind Kaggle Grand Prize