Analisador de robots.txt
Analisar robots.txt
robots.txt Content
About robots.txt
The robots.txt file tells search engine crawlers which URLs they can access on your site. This tool parses and validates robots.txt files and lets you test specific URLs.
Common Directives
User-agent:- Specifies which crawler the rules apply toDisallow:- Blocks access to specified pathsAllow:- Explicitly allows access (overrides disallow)Sitemap:- Points to your XML sitemapCrawl-delay:- Sets delay between requests (seconds)
Como Usar
- Insira sua entrada na área de texto acima
- Selecione as opções desejadas
- Clique no botão processar para ver os resultados
- Copie o resultado para sua área de transferência
Perguntas Frequentes
O que é Analisador de robots.txt?
Analisa e valida arquivos robots.txt existentes.
Esta ferramenta é gratuita?
Sim! Todas as ferramentas no ToolsKeeper são completamente gratuitas, sem limitações ou necessidade de cadastro.
Meus dados estão seguros?
Com certeza. Todo o processamento acontece diretamente no seu navegador. Seus dados nunca saem do seu dispositivo nem são enviados para nenhum servidor.