Scraper AI Bikin Infrastruktur Open Source Keder

Dunia open source lagi heboh. Direktur IT infrastructure Linux Foundation sampai buka suara soal perilaku AI crawler yang makin nggak sopan.

Gue rangkum inti masalahnya. Server mereka sekarang habis lebih banyak CPU buat render commits buat scraper dibanding semua akses wajar yang lain. Parah banget.

Keluhannya apa sih

Di lima node yang tersebar geografis, ada 14 CPU core yang full kerjanya cuma render git commits jadi HTML buat para scraper. Bukan buat developer atau maintainer, tapi buat bot yang dateng narik halaman terus-terusan.

linux.git sendiri sekarang punya sekitar 1,48 juta commits. Belum lagi 922 fork di git.kernel.org. Di mata scraper, itu artinya ada miliaran URL valid yang bisa digaruk, padahal isinya duplikat dari objek yang sama.

Kenapa ini ironis

Yang bikin makin kocak, data kernel commits itu justru salah satu sumber training data paling bersih buat LLM karena dijamin bebas dari teks yang dihasilkan AI. Jadi bernilai banget.

Tapi cara scraper nariknya bikin infrastruktur jebol. Alih-alih narik data dengan efisien, mereka nge-scrape URL yang sama berulang kali dari ratusan fork. Hasilnya sama, beban server beda jauh.

AI memang butuh data, tapi bukan berarti boleh serakah tanpa mikirin beban infrastruktur orang lain. Semoga arah obrolan ini bisa bikin perusahaan AI lebih sopan, atau minimal bikin maintainer open source punya alasan kuat buat pasang benteng.

Sumber: AI's 'Creepy' Crawlers Criticized by Linux Foundation's IT Infrastructure Director