Robots.txt परीक्षक

robots.txt फ़ाइल पढ़ने में भ्रामक रूप से सरल और गलतियाँ करना आश्चर्यजनक रूप से आसान है: गलत User-agent समूह के अंतर्गत एक भटका हुआ `Disallow: /` चुपचाप पूरी साइट को अनुक्रमण से हटा सकता है, जबकि एक नियम जो किसी क्रॉलर को अवरुद्ध करता प्रतीत होता है, फ़ाइल में कहीं और एक लंबे, अधिक विशिष्ट पैटर्न द्वारा ओवरराइड किया जा सकता है। यह टूल वास्तविक मिलान एल्गोरिदम को फिर से लागू करता है जिसका उपयोग सर्च इंजन और AI क्रॉलर करते हैं — RFC 9309 में औपचारिक और Google द्वारा प्रलेखित Robots Exclusion Protocol — न कि एक सरल पंक्ति-दर-पंक्ति स्कैन द्वारा अनुमान लगाकर, इसलिए जो परिणाम आप यहाँ देखते हैं, वह वास्तविक क्रॉलर का गणित होगा।

अपनी robots.txt सामग्री पेस्ट करें, वह URL पथ लिखें जिसे आप जाँचना चाहते हैं (जैसे `/admin/` या `/blog/draft-post`), और 20 वास्तविक user-agent टोकन की अंतर्निहित सूची में से एक क्रॉलर चुनें। यह सूची जानबूझकर क्लासिक Googlebot, Bingbot और `*` फ़ॉलबैक से परे जाकर AI स्क्रैपर्स की वर्तमान पीढ़ी को शामिल करती है: GPTBot और OAI-SearchBot (OpenAI), ClaudeBot और anthropic-ai (Anthropic), Google-Extended (Google का AI-प्रशिक्षण ऑप्ट-आउट सिग्नल, Googlebot के सर्च क्रॉलर से अलग), Applebot-Extended (Apple का समतुल्य ऑप्ट-आउट), PerplexityBot, CCBot (Common Crawl, जिसका आर्काइव कई अन्य AI मॉडलों को डेटा देता है), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot और अधिक। प्रत्येक टोकन के साथ एक संक्षिप्त, ईमानदार व्याख्या दी गई है कि वह वास्तव में क्या है।

एल्गोरिदम स्वयं स्पेसिफिकेशन का सटीकता से पालन करता है: user-agent समूहों का मिलान केस-संवेदी तरीके से किया जाता है, उत्पाद टोकन पर सटीक या उपसर्ग मिलान हमेशा `*` फ़ॉलबैक समूह पर हावी रहता है, और एक ही टोकन घोषित करने वाले कई ब्लॉक वैसे ही विलय किए जाते हैं जैसे वास्तविक क्रॉलर करते हैं। विजेता समूह के भीतर, प्रत्येक Allow और Disallow नियम को उचित वाइल्डकार्ड अर्थ (`*` किसी भी अनुक्रम से मेल खाता है, अनुगामी `$` पथ के अंत पर स्थिर करता है) का उपयोग करके पथ के विरुद्ध जाँचा जाता है, और सबसे लंबा मिलान पैटर्न जीतता है — ठीक वैसे ही जैसे Google के अपने robots.txt कार्यान्वयन में दस्तावेज़ित है, बराबर लंबाई की स्थिति में Allow, Disallow पर विजय पाता है।

परिणाम पैनल केवल ALLOWED या BLOCKED नहीं कहता — यह जिम्मेदार सटीक पंक्ति और नियम पाठ बताता है, ताकि आप सीधे अपनी फ़ाइल पर जा सकें और उस निर्देश को ठीक (या पुष्ट) कर सकें जो मायने रखता है। यह वह विवरण है जिसे अधिकांश robots.txt जाँचकर्ता छोड़ देते हैं, और यही अंतर है अनुमान लगाने में कि कोई पृष्ठ क्रॉल क्यों नहीं हो रहा और निश्चित रूप से जानने में।