Pertempuran Lucu Developer Open Source Melawan AI Crawlers

Banyak developer open source ngerasa kalau AI web-crawling bots tuh kayak kecoa di internet, bro. Makanya, ada beberapa developer yang mulai melawan dengan cara-cara pinter dan ngena banget. Situs-situs yang punya proyek gratis dan open source (FOSS) tuh lebih banyak kena dampaknya, karena infrastruktur mereka lebih terbuka dan sumber daya yang mereka miliki juga lebih terbatas dibanding produk komersial.

Terkadang, AI bot enggak peduli sama file robot.txt yang seharusnya nunjukin ke bot mana yang boleh dan enggak boleh di-crawl, lho. Salah satunya adalah kasus yang dialami oleh developer FOSS bernama Xe Iaso. Bot dari Amazon ini nge-bombardir Git server sampe bikin DDoS outages, parah banget kan! Bot ini pura-pura jadi user lain dan ngeliatin halaman-halaman yang sama berulang-ulang. Iaso punya perjuangan sendiri buat melawan, yaitu dengan bikin tool yang namanya Anubis.

Anubis itu tuh kayak pemeriksaan reverse proxy yang harus dijawab sebelum requestnya bisa masuk ke Git server. Bot akan diblokir tapi browser yang dioperasikan manusia bakal diberi akses. Kalau requestnya beneran dari manusia, bakal muncul gambar anime yang lucu. Kalau dari bot, ya bakal ditolak. Proyek ini langsung ngetren di komunitas FOSS, lho!

Ada juga developer yang lebih memilih balas dendam sebagai bentuk pertahanan. Mereka ngusulin untuk ngisi halaman yang dilarang oleh robot.txt dengan artikel-artikel absurd, misalnya soal 'manfaat minum pemutih' atau 'efek positif menderita campak di tempat tidur'. Cara berdiplomasi ala mereka sebenernya agak keras dan jutek, tapi di satu sisi memperlihatkan kekesalan mereka terhadap bot yang bandel.

Jadi, para developer nggak tinggal diam banget. Mereka bikin tool dan trik-trik unik untuk ngelawan AI crawler yang enggak nurut sama aturan. Salah satunya adalah tool Nepenthes yang ngejerat crawler dengan konten palsu terus-terusan. Cloudflare juga ngeluarin tool bernama AI Labyrinth yang berguna buat bikin bingung dan nguras sumber daya bot yang enggak nurut.

Jadi, dari cerita-cerita konyol dan berat sekaligus, kita bisa lihat kalau developer open source tuh punya semangat dan canda tawa dalam menghadapi masalah. Mereka nggak nyerah dan terus berinovasi, bro!

Sumber inspirasi: TechCrunch