בודק Robots.txt

קובץ robots.txt הוא פשוט מטעה לקריאה וקל להפתיע לטעות: 'Disallow: /' תועה תחת קבוצת User-agent שגויה יכול להסיר בשקט את האינדקס של אתר שלם, בעוד שכלל שנראה כאילו הוא חוסם סורק יכול להידחק על ידי דפוס ארוך וספציפי יותר במקום אחר בקובץ. הכלי הזה מיישם מחדש את האלגוריתם התואם בפועל שמנועי חיפוש וסורקי בינה מלאכותית משתמשים בהם - פרוטוקול איסור הרובוטים דה-פקטו שנקבע ב-RFC 9309 ומתועד על ידי גוגל - במקום להעריך אותו בסריקה פשוטה שורה אחר שורה, כך שפסק הדין שאתה רואה כאן הוא פסק הדין שסורק אמיתי יחשב.

הדבק את תוכן ה-robots.txt שלך, הקלד את נתיב כתובת האתר שברצונך לבדוק (כגון `/admin/` או `/blog/draft-post`), ובחר סורק מרשימה מצורפת של 20 אסימוני משתמש-סוכן אמיתיים. רשימה זו חורגת בכוונה מעבר לקלאסיקה - Googlebot, Bingbot וה-'*' fallback - וכוללת את הדור הנוכחי של מגרדי בינה מלאכותית: GPTBot ו-OAI-SearchBot (OpenAI), ClaudeBot ו-anthropic-ai (Anthropic), Google-Extended (אות ביטול הסכמה לאימון בינה מלאכותית של גוגל, בנפרד מ-Googlebot-Applebot'scrawler),' opt-out), PerplexityBot, CCBot (Common Crawl, שהארכיון שלו מזין דגמי AI רבים אחרים), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot ועוד. כל אסימון נשלח עם הסבר קצר וכנה על מה הוא בעצם.

האלגוריתם עצמו עוקב אחר המפרט במדויק: קבוצות משתמש-סוכן מותאמות ללא רגישות לאותיות גדולות, כאשר התאמה מדויקת או קידומת על אסימון המוצר מנצחת תמיד את קבוצת ה-'*', ומספר בלוקים שמצהירים על אותו אסימון מתמזגים כפי שעושים סורקים אמיתיים. בתוך הקבוצה המנצחת, כל כלל Allow and Disallow נבדק מול הנתיב באמצעות סמנטיקה מתאימה של תווים כלליים (`*` תואם כל רצף, עוגן `$` עוגן לסוף הנתיב), ודפוס ההתאמה הארוך ביותר מנצח - עם Allow זכייה בכל תיקו מול Disallow באורך שווה, בדיוק כפי שתועד על ידי יישום robots.txt של Google.

חלונית התוצאות לא אומרת רק רשות או חסומה - היא נותנת את השם המדויק של השורה וטקסט הכלל האחראים, כך שתוכל לחזור ישר לקובץ שלך ולתקן (או לאשר) את ההנחיה החשובה. זה הפרט שרוב בודקי ה-robots.txt מדלגים עליו, והוא ההבדל בין ניחוש מדוע דף לא נסרק לבין ידיעה בוודאות.