اختبار ملف Robots.txt

يعد ملف robots.txt سهل القراءة بشكل مخادع ومن السهل أن يخطئ فيه: يمكن لـ `Disallow: /` الضال ضمن مجموعة وكيل المستخدم الخاطئة إلغاء فهرسة موقع بأكمله بصمت، في حين أن القاعدة التي تبدو وكأنها تحظر الزاحف يمكن تجاوزها بنمط أطول وأكثر تحديدًا في مكان آخر من الملف. تعمل هذه الأداة على إعادة تنفيذ محركات البحث الخوارزمية المطابقة الفعلية وبرامج زحف الذكاء الاصطناعي - بروتوكول استبعاد الروبوتات الفعلي الذي تمت صياغته رسميًا في RFC 9309 وتوثيقه Google - بدلاً من تقريبه من خلال فحص بسيط سطرًا تلو الآخر، وبالتالي فإن الحكم الذي تراه هنا هو الحكم الذي سيحسبه الزاحف الحقيقي.

الصق محتوى ملف robots.txt، واكتب مسار عنوان URL الذي تريد التحقق منه (مثل `/admin/` أو `/blog/draft-post`)، واختر زاحفًا من قائمة مجمعة مكونة من 20 رمزًا مميزًا حقيقيًا لوكيل المستخدم. تتجاوز هذه القائمة عمدًا الكلاسيكيات - Googlebot، وBingbot، والخيار الاحتياطي `*` - لتشمل الجيل الحالي من أدوات استخراج الذكاء الاصطناعي: GPTBot وOAI-SearchBot (OpenAI)، وClaudeBot وanthropic-ai (Anthropic)، وGoogle-Extending (إشارة إلغاء الاشتراك في تدريب الذكاء الاصطناعي من Google، المنفصلة عن زاحف بحث Googlebot)، وApplebot-Extend (ما يعادل إلغاء الاشتراك من Apple)، PerplexityBot، وCCBot (Common Crawl، الذي يغذي أرشيفه العديد من نماذج الذكاء الاصطناعي الأخرى)، وBytespider (ByteDance)، وMeta-ExternalAgent، وAmazonbot والمزيد. يأتي كل رمز مميز مع شرح قصير وصادق لما هو عليه بالفعل.

تتبع الخوارزمية نفسها المواصفات بدقة: تتم مطابقة مجموعات وكيل المستخدم بشكل غير حساس لحالة الأحرف، مع تطابق تام أو بادئة على الرمز المميز للمنتج دائمًا ما يتفوق على المجموعة الاحتياطية `*`، ويتم دمج الكتل المتعددة التي تعلن عن نفس الرمز المميز كما تفعل برامج الزحف الحقيقية. داخل المجموعة الفائزة، يتم التحقق من كل قاعدة السماح وعدم السماح مقابل المسار باستخدام دلالات أحرف البدل المناسبة (يطابق `*` أي تسلسل، ونقاط ارتساء `$` زائدة حتى نهاية المسار)، ويفوز النمط المطابق الأطول - مع فوز السماح بأي تعادل مقابل عدم السماح بنفس الطول، تمامًا كما هو موثق بواسطة تطبيق robots.txt الخاص بـ Google.

لا تشير لوحة النتائج إلى "مسموح" أو "محظور" فحسب - بل تحدد السطر الدقيق ونص القاعدة المسؤول، بحيث يمكنك الرجوع مباشرة إلى ملفك وإصلاح (أو تأكيد) التوجيه المهم. هذه هي التفاصيل التي تتخطاها معظم أدوات فحص ملف robots.txt، وهي الفرق بين تخمين سبب عدم الزحف إلى الصفحة ومعرفة ذلك على وجه اليقين.