Tester Robots.txt

File robots.txt tampak sederhana untuk dibaca dan sangat mudah salah tulis: satu `Disallow: /` yang salah tempat di bawah grup User-agent yang salah bisa secara diam-diam menghapus indeks seluruh situs, sementara aturan yang terlihat memblokir crawler bisa ditimpa oleh pola yang lebih panjang dan lebih spesifik di bagian lain file. Alat ini mengimplementasikan ulang algoritma pencocokan yang benar-benar digunakan oleh mesin pencari dan crawler AI — Robots Exclusion Protocol de-facto yang diformalkan dalam RFC 9309 dan didokumentasikan oleh Google — alih-alih menirunya dengan pemindaian baris per baris sederhana, sehingga keputusan yang Anda lihat di sini adalah keputusan yang akan dihitung oleh crawler sungguhan.

Tempelkan konten robots.txt Anda, ketik jalur URL yang ingin diperiksa (seperti `/admin/` atau `/blog/draft-post`), dan pilih crawler dari daftar bawaan berisi 20 token user-agent asli. Daftar itu sengaja melampaui yang klasik — Googlebot, Bingbot, dan fallback `*` — dengan menyertakan scraper AI generasi terkini: GPTBot dan OAI-SearchBot (OpenAI), ClaudeBot dan anthropic-ai (Anthropic), Google-Extended (sinyal opt-out pelatihan AI Google, terpisah dari crawler pencarian Googlebot), Applebot-Extended (opt-out setara dari Apple), PerplexityBot, CCBot (Common Crawl, yang arsipnya banyak dipakai untuk melatih model AI lain), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot, dan lainnya. Setiap token dilengkapi penjelasan singkat dan jujur tentang apa sebenarnya crawler itu.

Algoritmanya sendiri mengikuti spesifikasi dengan tepat: grup user-agent dicocokkan tanpa peka huruf besar-kecil, dengan kecocokan persis atau awalan pada token produk selalu mengalahkan grup fallback `*`, dan beberapa blok yang mendeklarasikan token yang sama digabungkan seperti yang dilakukan crawler sungguhan. Di dalam grup pemenang, setiap aturan Allow dan Disallow diperiksa terhadap jalur menggunakan semantik wildcard yang tepat (`*` cocok dengan urutan apa pun, `$` di akhir menambatkan ke ujung jalur), dan pola pencocokan terpanjang menang — dengan Allow memenangkan setiap hasil seri melawan Disallow dengan panjang yang sama, persis seperti yang didokumentasikan oleh implementasi robots.txt Google sendiri.

Panel hasil tidak hanya mengatakan DIIZINKAN atau DIBLOKIR — ia menyebutkan persis baris dan teks aturan yang bertanggung jawab, sehingga Anda bisa langsung kembali ke file dan memperbaiki (atau mengonfirmasi) direktif yang penting itu. Itulah detail yang kebanyakan pemeriksa robots.txt lewatkan, dan itulah perbedaan antara menebak mengapa suatu halaman tidak dirayapi dan mengetahuinya dengan pasti.