فاحص Robots.txt

ملف robots.txt بسيط قراءته بشكل خادع وسهل الخطأ فيه على نحو مدهش: فسطر `Disallow: /` شاردة تحت مجموعة User-agent خاطئة يمكنه أن يُلغي فهرسة موقع بأكمله بصمت، بينما قاعدة تبدو وكأنها تمنع زاحفاً يمكن أن تُلغى بنمط أطول وأكثر تحديداً في مكان آخر من الملف. هذه الأداة تعيد تطبيق خوارزمية التطابق الفعلية التي تستخدمها محركات البحث وزواحف الذكاء الاصطناعي — أي بروتوكول استثناء الروبوتات الفعلي المُقنَّن في RFC 9309 والمُوثَّق من Google — بدلاً من تقريبها بمسح بسيط سطراً سطراً، وبالتالي فالنتيجة التي تراها هنا هي النتيجة التي سيحسبها زاحف حقيقي.

ألصق محتوى robots.txt الخاص بك، واكتب مسار الرابط الذي تريد فحصه (مثل `/admin/` أو `/blog/draft-post`)، واختر زاحفاً من قائمة مدمجة تحوي 20 رمز وكيل مستخدم حقيقياً. تتجاوز هذه القائمة عمداً الكلاسيكيات — Googlebot و Bingbot واحتياط `*` — لتشمل الجيل الحالي من زواحف الذكاء الاصطناعي: GPTBot و OAI-SearchBot (OpenAI)، و ClaudeBot و anthropic-ai (Anthropic)، و Google-Extended (إشارة إلغاء تدريب الذكاء الاصطناعي من Google، منفصلة عن زاحف البحث Googlebot)، و Applebot-Extended (إشارة إلغاء Apple المعادلة)، و PerplexityBot، و CCBot (الأرشيف المشترك Common Crawl، الذي يغذي أرشيفه العديد من نماذج الذكاء الاصطناعي الأخرى)، و Bytespider (ByteDance)، و Meta-ExternalAgent، و Amazonbot وغيرهم. ويُرفق كل رمز بشرح قصير وصريح عن ماهيته فعلاً.

الخوارزمية بذاتها تتبع المواصفات بدقة: مجموعات وكيل المستخدم تُطابق دون حساسية لحالة الأحرف، مع تفوق التطابق التام أو البادئي على رمز المنتَج دائماً على مجموعة الاحتياط `*`، ويتم دمج الكتل المتعددة التي تعلن الرمز ذاته كما تفعل الزواحف الحقيقية. داخل المجموعة الفائزة، تُفحص كل قاعدة سماح ومنع مقابل المسار باستخدام دلالات الرموز العامة الصحيحة (`*` يطابق أي تسلسل، و `$` في النهاية يثبت نهاية المسار)، ويفوز النمط المطابق الأطول — مع فوز السماح في أي تعادل مع منع متساوي الطول، تماماً كما وُثِّق في تطبيق robots.txt من Google.

لوحة النتيجة لا تقول فقط مسموح أو ممنوع — بل تسمي السطر ونص القاعدة المسؤولين بالضبط، لتتمكن من العودة مباشرة إلى ملفك وتصحيح (أو تأكيد) التوجيه الذي يهم. هذا هو التفصيل الذي تتجاهله معظم فاحصات robots.txt، وهو الفرق بين التخمين حول سبب عدم زحف صفحة ما والمعرفة اليقينية.