O que cada recurso faz
O sitemap lista URLs que você quer apresentar ao buscador. O robots.txt orienta o acesso do rastreador a caminhos do site. A canonical indica o endereço preferido entre versões de um conteúdo. A diretiva noindex pede que uma página acessível não seja indexada.
Eles não substituem uns aos outros. Adicionar uma URL ao sitemap não desfaz um bloqueio. Bloquear uma página no robots.txt não garante sua remoção da busca. Uma canonical também é um sinal de preferência, não uma ordem que o Google é obrigado a seguir.
Sitemap: liste páginas que merecem ser encontradas
Um site de ferramentas pode listar a página inicial, cada ferramenta com conteúdo próprio e seus guias. Use os endereços preferidos, sem incluir versões que redirecionam, erros 404 ou resultados privados. Atualize a lista quando publicar ou remover conteúdo.
Esse trecho é apenas uma entrada: o arquivo completo precisa de uma estrutura XML válida. Um índice de sitemaps referencia outros arquivos de sitemap, em vez de listar páginas diretamente. Por isso, contar apenas as entradas do índice pode levar a uma interpretação errada da quantidade de URLs.
Se usar lastmod, informe a data de uma mudança relevante no conteúdo. Não atualize todas as datas automaticamente para simular conteúdo novo. O arquivo pode funcionar sem esse campo.
Robots.txt: controle o acesso ao conteúdo
O arquivo fica na raiz de cada host. Uma regra no portal principal não configura automaticamente os subdomínios das ferramentas. Cada host deve disponibilizar as próprias instruções e anunciar o sitemap correspondente.
Allow: /
Sitemap: https://exemplo.com.br/sitemap.xml
O exemplo permite rastreamento geral e informa o sitemap. Adapte as regras ao seu projeto. Mantenha disponíveis CSS e JavaScript necessários para entender a página. Não trate o robots.txt como uma proteção de segurança: áreas privadas precisam de autenticação.
Canonical: escolha um endereço consistente
Imagine que /guia, /guia.html e /guia/ mostram o mesmo texto. Escolha um endereço preferido e use-o nos links internos e no sitemap. Quando as versões alternativas não têm uma função própria, um redirecionamento permanente ajuda a consolidar a navegação.
A canonical deve apontar para a página correspondente e acessível. Não direcione todos os artigos para a inicial. Páginas realmente diferentes precisam de conteúdo e endereço próprios; trocar apenas o título não torna cópias substancialmente iguais em conteúdos distintos.
Noindex: evite indexar conteúdo que não deve aparecer
Uma página administrativa ou um relatório temporário pode usar noindex. A instrução pode aparecer em uma meta tag ou no cabeçalho HTTP X-Robots-Tag. O rastreador precisa conseguir acessar a resposta para ler essa orientação.
Se você quer retirar uma página pública da busca, não combine um bloqueio de rastreamento com a expectativa de que o Google leia imediatamente o noindex. A estratégia deve considerar o estado atual da página e a finalidade do conteúdo.
Roteiro de conferência
- Escolha a URL preferida e confirme que retorna o conteúdo certo.
- Verifique se os links internos levam diretamente a ela.
- Confira a canonical e as instruções de indexação.
- Inclua a URL no sitemap se for uma página pública indexável.
- Teste o robots.txt do host correspondente.
- Confira a URL no Search Console após a alteração.
Esse alinhamento evita conflitos técnicos. Ele ajuda o buscador a descobrir e interpretar o site, mas não cria uma garantia de indexação ou de classificação.
Fontes e referências
Confira a base técnica do seu site
Use a auditoria gratuita para rastrear até 200 páginas públicas e organizar as correções.
Analisar SEO do site