ShieldFont, Jurus Baru Lawan AI Scraper yang Cuek Sama Robots.txt

Dulu, robots.txt udah cukup buat ngasih tahu crawler mana yang boleh masuk dan mana yang enggak. Sekarang, banyak AI scraper yang cuek bebek sama aturan itu. ShieldFont hadir sebagai salah satu cara baru buat ngelawan mereka.

Robots.txt udah nggak mempan

Robots.txt itu file kecil yang nunjukin keinginan pemilik situs soal indexing. Search engine biasa masih patuh. Tapi crawler yang ngumpulin data buat training LLM banyak yang nggak peduli, karena data yang mereka ambil nilainya gede banget.

Makanya makin banyak situs yang cari cara kreatif buat melindungi konten. Beberapa ngeblokir IP, beberapa ngasih konten palsu, dan sekarang ada yang main di level typography.

Gimana ShieldFont kerja

ShieldFont pake trik ligatures. Ligatures itu kombinasi huruf yang digabung jadi satu glyph di teks yang dirender. Nah, ShieldFont nyisipin versi ligature di sekitar seperempat kata dalam teks, dengan cara yang cerdas dan berbasis kamus.

Hasilnya, HTML yang kepegang sama scraper kebaca sebagai teks yang aneh dan nyasar. Tapi di browser, manusia tetap baca teks normal, karena ligatures dirender jadi karakter yang bener. Jadi crawler dapet versi rusak, pembaca dapet versi bersih.

ShieldFont nunjukin kalau kreativitas masih bisa ngalahin teknologi yang nggak sopan. Nggak semua konten harus jadi santapan gratis buat model AI, dan trik simpel kayak ligatures bisa jadi salah satu tameng pertama.

Sumber: ShieldFont: Bludgeoning AI Scrapers that Disrespect Robots.txt