Penguji Robots.txt

Fail robots.txt nampak mudah dibaca tetapi mengejutkan mudah untuk silap: satu `Disallow: /` yang tersasar di bawah kumpulan User-agent yang salah boleh menyahindeks seluruh tapak secara senyap, manakala peraturan yang kelihatan menyekat perangkak boleh dibatalkan oleh corak yang lebih panjang dan lebih spesifik di tempat lain dalam fail. Alat ini melaksanakan semula algoritma padanan sebenar yang digunakan oleh enjin carian dan perangkak AI — Protokol Pengecualian Robot de-fakto yang diformalkan dalam RFC 9309 dan didokumenkan oleh Google — bukan menghampirinya dengan imbasan baris-demi-baris mudah, jadi keputusan yang anda lihat di sini ialah keputusan yang akan dikira oleh perangkak sebenar.

Tampal kandungan robots.txt anda, taip laluan URL yang ingin diperiksa (seperti `/admin/` atau `/blog/draft-post`), dan pilih perangkak daripada senarai terbungkus 20 token ejen-pengguna sebenar. Senarai itu sengaja melangkaui klasik — Googlebot, Bingbot, dan sandaran `*` — untuk memasukkan generasi semasa pengikis AI: GPTBot dan OAI-SearchBot (OpenAI), ClaudeBot dan anthropic-ai (Anthropic), Google-Extended (isyarat pilihan keluar latihan AI Google, berasingan daripada perangkak carian Googlebot), Applebot-Extended (pilihan keluar setara Apple), PerplexityBot, CCBot (Common Crawl, yang arkibnya menyuap banyak model AI lain), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot dan banyak lagi. Setiap token disertakan dengan penerangan ringkas dan jujur tentang maksud sebenarnya.

Algoritma itu sendiri mengikuti spesifikasi dengan tepat: kumpulan ejen-pengguna dipadankan secara tidak peka huruf besar-kecil, dengan padanan tepat atau awalan pada token produk sentiasa mengalahkan kumpulan sandaran `*`, dan berbilang blok yang mengisytiharkan token yang sama digabungkan seperti yang dilakukan oleh perangkak sebenar. Dalam kumpulan yang menang, setiap peraturan Benarkan dan Larang diperiksa terhadap laluan menggunakan semantik kad bebas yang betul (`*` sepadan dengan sebarang jujukan, `$` pengekor menambat ke hujung laluan), dan corak padanan terpanjang menang — dengan Benarkan memenangi sebarang seri terhadap Larang yang sama panjang, tepat seperti yang didokumenkan oleh pelaksanaan robots.txt Google sendiri.

Panel hasil bukan sekadar menyatakan DIBENARKAN atau DISEKAT — ia menamakan baris tepat dan teks peraturan yang bertanggungjawab, supaya anda boleh terus kembali ke fail anda dan membetulkan (atau mengesahkan) arahan yang penting. Itulah perincian yang dilangkau oleh kebanyakan pemeriksa robots.txt, dan itulah perbezaan antara meneka mengapa halaman tidak dirangkak dan mengetahui dengan pasti.