Meta robotid ja Canonical Builder
Looge kehtiv metarobotite märgend ja kanooniline link või kleepige olemasolev <head> HTML, et kontrollida seda tõeliste indekseerimiskonfliktide (nt dubleerivad kanoonilised failid ja vastuolulised direktiivid) suhtes.
Tulemus
Koostamisrežiim koostab tõelisest direktiivikomplektist märgendi `<meta name="robots" content="...">`, mida otsimootorid tegelikult dokumenteerivad, mitte väljamõeldud loendit: index/noindex ja follow/nofollow kontrollivad indekseerimist ja lingi jälgimist, ükski neist ei ole dokumenteeritud stenogramm, mis tähendab noindexi pluss nofollow koos ning noarchive, nosnippet, notransimage-results (igaüht konkreetset otsingut lülitab välja koopiad, teksti-/videolõigud, piltide indekseerimine ja automaattõlke pakkumine). max-snippet, max-image-preview ja max-video-preview võtavad arvulisi või loendatavaid väärtusi, mida otsingumootorid ootavad (näiteks max-image-preview ei aktsepteeri ühtegi, standardset või suurt ja max-snippet/max-video-preview aktsepteeri -1 piiranguteta või mittenegatiivse arvu jaoks). Selle kõrval luuakse kanooniline märgend <link rel="canonical" href="..."> ja kui teie sisestatud URL ei ole täielik absoluutne URL, ütleb tööriist teile seda otse, kuna suhteline kanooniline märgend on hästi tuntud väärtõlgenduste allikas.
Auditeerimisrežiim on silmapaistev funktsioon: kleepige toores HTML-kood, mis teil praegu on (või selleks ette nähtud) lehe lahtrisse "<head>" ja tööriist analüüsib seda brauseri DOMParseriga, et leida üles kõik olemasolevad märgendid <meta name="robots"> ja <link rel="canonical">". Seejärel kontrollib see mustreid, mis on pigem tõelised, tavaliselt kahjulikud kui teoreetilised: kaks või enam kanoonilist silti samal lehel (otsingumootorid peavad valima ühe ja erinevad mootorid võivad valida erinevalt); kanooniline URL, mis ei ole täielikult määratletud absoluutne URL; ja direktiivid, mis on üksteisega täiesti vastuolus, olgu selleks siis kaks erinevat roboti metasilti, mis ei nõustu üksteisega, või üks silt, mille kirjaviga, näiteks "index, noindex" on kokku kirjutatud. Kui sisestate ka lehe enda URL-i, suudab see tuvastada konkreetse juhtumi lehe kohta, mille kanooniline leht osutab iseendale, samal ajal kui see on märgistatud noindexiks – see on üksteisele vasturääkiv signaalipaar, mis on lavastuskeskkondadest või CMS-i vaikeseadetest tavaline ülejääk, kuna isekanooniline leht on tavaliselt täpselt see, mida soovite indekseerida.
Siin on kõik ausalt piiritletud. See tööriist vaatab alati ainult HTML-i (ja soovi korral ka HTTP-päise teksti), mille te kleepite – see ei too teie reaalajas lehte, ei tea teie tegelikke serveripäiseid, kui te neid ise ei kleebi, ega rooma ega kontrolli midagi laiemalt veebis. Just seetõttu on X-Robots-Tag kontrolli jaoks valikuline väli „HTTP vastuse päised”: otsingumootorid ühendavad selle HTTP-päise lehe metasildiga ja rakendavad kõige piiravamat direktiivi, nii et päise tasemel noindex võib vaikselt alistada lehel oleva märgendi, mis näeb välja täiesti korralik – kuid tööriist saab neid kahte võrrelda ainult siis, kui esitate mõlemad. Iga siinne kontroll põhineb dokumenteeritud otsingukeskuse käitumisel, mitte tagantjärele leiutatud SEO-folklooril ning iga sõelumine ja võrdlus jookseb teie brauseri vahekaardil lokaalselt; midagi, mida te kleepite, ei saadeta kunagi serverisse.