Gerador de robots.txt
Oriente robôs de busca, restrinja diretórios sensíveis e controle o acesso de inteligências artificiais ao seu site.
Regras Gerais & Sitemap
Defina a política padrão para todos os robôs de busca.
Indica aos buscadores onde encontrar seu mapa de páginas para indexação rápida.
Respeitado por Bing, Yandex e Yahoo. O Googlebot ignora essa diretiva e calcula a velocidade dinamicamente.
Pastas e Arquivos Restritos (Disallow)
Especifique caminhos que os buscadores NÃO devem rastrear ou indexar.
Permite arquivos específicos que estejam dentro de pastas bloqueadas.
Controle de Robôs de Inteligência Artificial
Evite que IAs capturem seus textos, fotos e conteúdos para treinamento de modelos sem autorização.
robots.txt Gerado
Atualizado em tempo realrobots.txt
public_html/robots.txt
O robots.txt não impede que uma página com link externo seja indexada como resultado sem snippet. Para remover uma página por completo da busca, utilize a meta tag <meta name="robots" content="noindex">.
Perguntas Frequentes sobre robots.txt
Entenda as melhores práticas para não prejudicar o ranqueamento do seu site.
Onde devo hospedar o arquivo robots.txt?
Ele deve ficar sempre na raiz do seu domínio principal, ou seja, acessível em https://seusite.com.br/robots.txt. Se estiver em uma subpasta como /paginas/robots.txt, os motores de busca irão ignorá-lo completamente.
Qual a diferença entre Disallow e Noindex?
Disallow instrui os robôs a não gastarem tempo de rastreamento (Crawl Budget) naquelas páginas. Noindex é uma instrução para não exibir a página nos resultados de pesquisa. Bloquear uma página via Disallow não garante 100% que ela não aparecerá no Google caso outros sites criem links para ela.
Por que bloquear robôs de Inteligência Artificial?
Robôs como GPTBot (ChatGPT) e Google-Extended coletam o conteúdo de artigos, bancos de dados e lojas para alimentar IAs generativas sem gerar tráfego direto para seu site. Bloqueá-los preserva seus direitos autorais e economiza banda de servidor.
Como testar se o arquivo está correto?
Você pode usar o Testador de robots.txt oficial do Google Search Console ou o Bing Webmaster Tools para simular se URLs específicas estão sendo permitidas ou bloqueadas antes de publicar.