robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

Алат ради директно у претраживачу и спреман је за брзе провере без инсталирања софтвера.
Унос се може одмах обрисати и поново израчунати, што је корисно за поновљене мале задатке.
Користите режим целог екрана када вам треба више простора за дуг текст, структуриране податке или велике блокове резултата.
Дугмад за копирање доступна су на генерисаном излазу, тако да се резултати могу поново користити у коду, документима или разговорима за подршку.
Већина операција је детерминистичка: исти улаз и опције производе исти излаз.
За осетљив садржај, дајте предност локалним алатима прегледача и прегледајте резултат пре него што га даље делите.