Gerador Robots.txt
Gere um arquivo robots.txt válido para o seu site com as diretivas Allow, Disallow, Sitemap e Crawl-delay.
Advertisement
Robots.txt gerado
Preencha o formulário e clique em gerar para ver o seu robots.txt aqui.
Gerador Robots.txt
O Gerador Robots.txt cria um arquivo robots.txt válido que indica aos crawlers dos motores de busca quais páginas rastrear e quais ignorar. Use-o para controlar o acesso de bots ao seu site, proteger diretórios privados e guiar os crawlers ao seu sitemap.