A análise do arquivo de log de SEO ajuda a entender o comportamento do rastreador no site e a identificar possíveis oportunidades de otimização técnica de SEO.
SEO sem analisar o comportamento dos rastreadores é como voar às cegas. Você pode ter enviado o site no console de pesquisa do Google e indexado, mas sem estudar os arquivos de log, você não terá uma ideia se seu site está sendo rastreado ou lido pelos robôs do mecanismo de pesquisa corretamente ou não.
É por isso que reuni tudo o que você precisa saber para analisar arquivos de log de SEO e identificar problemas e oportunidades de SEO a partir deles.
últimas postagens
O que é Análise de Arquivos de Log?
A análise de arquivos de log de SEO é um processo para reconhecer o padrão de interação dos bots do mecanismo de pesquisa com o site. A análise do arquivo de log é uma parte do SEO técnico.
A auditoria de arquivos de log é importante para que os SEOs reconheçam e resolvam os problemas relacionados ao rastreamento, indexação e códigos de status.
O que são arquivos de log?
Os arquivos de log rastreiam quem visita um site e qual conteúdo eles visualizam. Eles contêm informações sobre quem solicitou acesso ao site (também conhecido como ‘O Cliente’).
As informações percebidas podem estar relacionadas a bots de mecanismos de pesquisa como Google ou Bing ou a um visitante do site. Normalmente, os registros do arquivo de log são coletados e mantidos pelo servidor da Web do site e geralmente são mantidos por um determinado período de tempo.
O que o arquivo de log contém?
Antes de saber a importância dos arquivos de log para SEO, é essencial saber o que há dentro desse arquivo. O arquivo de log e contém os seguintes pontos de dados:-
- URL da página que o visitante do site está solicitando
- O código de status HTTP da página
- Endereço IP do servidor solicitado
- Data e hora do acerto
- Dados do agente do usuário (bot do mecanismo de pesquisa) que faz uma solicitação
- Método de solicitação (GET/POST)
Os arquivos de log podem parecer complicados para você se você os examinar primeiro. Ainda assim, uma vez que você conheça o propósito e a importância dos arquivos de log para SEO, você os usará de forma eficaz para gerar informações valiosas de SEO.
Objetivo da análise de arquivos de log para SEO
A análise do arquivo de log ajuda a resolver alguns dos importantes problemas técnicos de SEO, o que permite criar uma estratégia eficaz de SEO para otimizar o site.
Aqui estão alguns problemas de SEO que podem ser analisados usando arquivos de log:
#1. Frequência do Googlebot rastreando o site
Os bots ou rastreadores do mecanismo de pesquisa devem rastrear suas páginas importantes com frequência para que o mecanismo de pesquisa saiba sobre as atualizações do site ou o novo conteúdo.
Suas páginas importantes de produtos ou informações devem aparecer nos registros do Google. Uma página de produto para um produto que você não vende mais, bem como a ausência de qualquer uma de suas páginas de categoria mais importantes, são indicadores de um problema que pode ser reconhecido usando arquivos de log.
Como um bot de mecanismo de pesquisa utiliza o orçamento de rastreamento?
Cada vez que um rastreador de mecanismo de pesquisa visita seu site, ele tem um “orçamento de rastreamento” limitado. O Google define um orçamento de rastreamento como a soma da taxa de rastreamento de um site e da demanda de rastreamento.
O rastreamento e a indexação de um site podem ser dificultados se ele tiver muitos URLs de baixo valor ou URLs que não foram enviados corretamente no mapa do site. O rastreamento e a indexação de páginas-chave são mais fáceis se seu orçamento de rastreamento for otimizado.
A análise do arquivo de log ajuda a otimizar o orçamento de rastreamento que acelera os esforços de SEO.
#2. Problemas e status da indexação em dispositivos móveis
A indexação mobile-first agora é importante para todos os sites, e o Google a prefere. A análise do arquivo de log informará a frequência com que o Googlebot do smartphone rastreia seu site.
Essa análise ajuda os webmasters a otimizar as páginas da web para versões móveis se as páginas não estiverem sendo rastreadas corretamente pelo smartphone Googlebot.
#3. Código de status HTTP retornado por páginas da web quando solicitado
Os códigos de resposta recentes que nossas páginas da web estão retornando podem ser recuperados por arquivos de log ou usando a opção de solicitação de busca e renderização no Google Search Console.
Os analisadores de arquivos de log podem encontrar as páginas com os códigos 3xx, 4xx e 5xx. Você pode resolver esses problemas tomando as medidas apropriadas, por exemplo, redirecionando os URLs para os destinos corretos ou alterando o status 302 codificado para 301.
#4. Analisando as atividades de rastreamento, como profundidade de rastreamento ou links internos
O Google aprecia a estrutura do seu site com base na profundidade do rastreamento e nos links internos. Os motivos por trás do rastreamento inadequado do site podem ser uma estrutura de interlink ruim e a profundidade do rastreamento.
Se você tiver alguma dificuldade com a hierarquia ou estrutura do site do seu site, ou estrutura de interlink, você pode usar a análise do arquivo de log para encontrá-los.
A análise do arquivo de log ajuda a otimizar a arquitetura do site e a estrutura de interlink.
#4. Descubra páginas órfãs
Páginas órfãs são as páginas da web no site que não estão vinculadas a nenhuma outra página. É difícil que essas páginas sejam indexadas ou apareçam nos mecanismos de pesquisa, pois não são facilmente descobertas pelos bots.
Páginas órfãs podem ser facilmente descobertas por rastreadores como o Screaming Frog, e esse problema pode ser resolvido interligando essas páginas com as outras páginas do site.
#5. Audite as páginas para velocidade e experiência da página
A experiência da página e os principais elementos vitais da web são oficialmente os fatores de classificação agora, e é importante agora que as páginas da web estejam em conformidade com as diretrizes de velocidade de página do Google.
Páginas lentas ou grandes podem ser descobertas usando analisadores de arquivos de log, e essas páginas podem ser otimizadas para velocidade de página que ajudará na classificação geral na SERP.
A análise do arquivo de log ajuda você a obter controle sobre como seu site é rastreado e como os mecanismos de pesquisa estão lidando com seu site
Agora, como já entendemos o básico dos arquivos de log e sua análise, vamos ver o processo de auditoria dos arquivos de log para SEO
Como fazer a análise do arquivo de log
Já analisamos diferentes aspectos dos arquivos de log e a importância do SEO. Agora, é hora de aprender o processo de análise dos arquivos e as melhores ferramentas para analisar os arquivos de log.
Você precisará acessar o arquivo de log do servidor do site para acessar o arquivo de log. Os arquivos podem ser analisados das seguintes maneiras:
Existem diferentes etapas envolvidas no acesso manual aos arquivos de log.
- Colete ou exporte os dados de log do servidor da Web, e os dados devem ser filtrados para os bots ou rastreadores do mecanismo de pesquisa.
- Converta o arquivo baixado em um formato legível usando ferramentas de análise de dados.
- Analise manualmente os dados usando o Excel ou outras ferramentas de visualização para encontrar lacunas e oportunidades de SEO.
- Você também pode usar programas de filtragem e linhas de comando para facilitar seu trabalho
Trabalhar manualmente os dados dos arquivos não é fácil, pois requer conhecimento de Excel e envolve a equipe de desenvolvimento. Ainda assim, ferramentas para análise de arquivos de log facilitam o trabalho dos SEOs.
Vejamos as principais ferramentas para auditar os arquivos de log e entender como essas ferramentas nos ajudam a analisar os arquivos de log.
Screaming Frog Log File Analyzer
Problemas técnicos de SEO podem ser identificados usando dados de arquivo de log carregados e bots de mecanismos de pesquisa verificados usando o Screaming Frog Log File Analyzer. Você também pode fazer o seguinte:
- Atividade de bot de mecanismo de pesquisa e dados para otimização de mecanismo de pesquisa.
- Descubra a frequência de rastreamento de sites por robôs de mecanismos de pesquisa
- Descubra todos os problemas técnicos de SEO e links quebrados externos e internos
- Análise de URLs que foram menos e mais rastreados para reduzir a perda e aumentar a eficiência.
- Descubra páginas que não estão sendo rastreadas pelos mecanismos de pesquisa.
- Quaisquer dados podem ser comparados e combinados, incluindo dados de links externos, diretivas e outras informações.
- Visualize os dados sobre URLs de referência
A ferramenta de análise de arquivos de log Screaming Frog é totalmente gratuita para uso em um único projeto com um limite de 1000 eventos de log de linha. Você precisará atualizar para a versão paga se quiser acesso ilimitado e assistência técnica.
JetOctopus
Quando se trata de ferramentas de análise de log acessíveis, o JetOctopus é o melhor. Tem uma avaliação gratuita de sete dias, sem necessidade de cartão de crédito e uma conexão de dois cliques. Frequência de rastreamento, orçamento de rastreamento, páginas mais populares e muito mais podem ser identificados usando Analisador de log JetOctopusassim como as outras ferramentas da nossa lista.
Com esta ferramenta, você pode integrar os dados do arquivo de log com os dados do Google Search Console, dando-lhe uma vantagem distinta sobre a concorrência. Com esta combinação, você poderá ver como o Googlebot interage com seu site e onde você pode melhorar.
No analisador de registros de rastreamento
Mais de 500 milhões de linhas de log por dia são processadas por Analisador de registro do Oncrawl, uma ferramenta projetada para sites de médio a grande porte. Ele fica de olho nos logs do seu servidor web em tempo real para garantir que suas páginas estejam sendo indexadas e rastreadas corretamente.
O Oncrawl Log Analyzer é compatível com GDPR e altamente seguro. Em vez de endereços IP, o programa armazena todos os arquivos de log em uma nuvem FTP segura e segregada.
Além do JetOctopus e do Screaming Frog Log File Analyzer, o Oncrawl possui mais alguns recursos, como:
- Suporta muitos formatos de log, como IIS, Apache e Nginx.
- A ferramenta se adapta facilmente aos seus requisitos de processamento e armazenamento à medida que eles mudam
- A segmentação dinâmica é uma ferramenta poderosa para descobrir padrões e conexões em seus dados, agrupando seus URLs e links internos com base em vários critérios.
- Use pontos de dados de seus arquivos de log brutos para criar relatórios de SEO acionáveis.
- Os arquivos de log transferidos para o seu espaço FTP podem ser automatizados com a ajuda da equipe técnica.
- Todos os navegadores populares podem ser monitorados, incluindo os rastreadores do Google, Bing, Yandex e Baidu.
O OnCrawl Log Analyzer tem mais duas ferramentas importantes:
Rastreador de SEO Oncrawl: Com o Oncrawl SEO Crawler, você pode rastrear seu site em alta velocidade e com recursos mínimos. Melhora a compreensão do usuário de como os critérios de classificação afetam a otimização do mecanismo de pesquisa (SEO).
Dados de rastreamento: Os dados do Oncrawl analisam todos os fatores de SEO combinando dados do rastreamento e da análise. Ele busca os dados dos arquivos de rastreamento e log para entender o comportamento do rastreamento e recomenda o orçamento do rastreamento para conteúdo prioritário ou páginas de classificação.
Analisador de arquivos de log da SEMrush
o Analisador de arquivos de log da SEMrush é uma escolha inteligente para uma ferramenta de análise de log simples e baseada em navegador. Este analisador não requer download e pode ser usado na versão online.
A SEMrush apresenta dois relatórios:
Hits das páginas: os hits das páginas relatam a interação dos rastreadores da web com o conteúdo do seu site. Ele fornece os dados de páginas, pastas e URLs com as interações máximas e mínimas com bots.
A atividade do Googlebot: o relatório de atividade do Googlebot fornece informações relacionadas ao site diariamente, como:
- Os tipos de arquivos rastreados
- O código geral de status HTTP
- O número de solicitações feitas ao seu site por vários bots
Loggly da SolarWinds
Loggly da SolarWinds examina os logs de acesso e erro do seu servidor web, bem como as métricas semanais do site. Você pode ver seus dados de log a qualquer momento e possui recursos que simplificam a pesquisa por meio de logs.
Uma ferramenta robusta de análise de arquivos de log, como o SolarWinds Loggly, é necessária para extrair com eficiência os arquivos de log em seu servidor da Web para obter informações sobre o sucesso ou falha de solicitações de recursos de clientes.
O Loggly pode fornecer gráficos exibindo as páginas menos visualizadas e calcular as velocidades média, mínima e máxima de carregamento da página para ajudá-lo a otimizar a otimização do mecanismo de pesquisa do seu site.
Estatísticas de rastreamento do Google Search Console
Google Search Console facilitou as coisas para os usuários, fornecendo uma visão geral útil de suas práticas. A operação do console é direta. Suas estatísticas de rastreamento serão divididas em três categorias:
- Kilobytes baixados por dia: Indica os kilobytes que estão sendo baixados pelo Googlebots durante a visita ao site. Isso basicamente indica dois pontos importantes: Se médias altas são mostradas no gráfico, isso significa que o site é rastreado com mais frequência ou também pode indicar que o bot está demorando muito para rastrear um site e não é leve.
- Páginas rastreadas por dia: informa o número de páginas que o Googlebot rastreia por dia. Ele também anota o status da atividade de rastreamento, seja baixo, alto ou médio. Baixa taxa de rastreamento indica que o site não foi rastreado corretamente pelo Googlebot
- Tempo gasto no download de uma página (em milissegundos): indica o tempo gasto pelo Googlebot para fazer solicitações HTTP durante o rastreamento do site. Quanto menor o tempo que o Googlebot tem para fazer solicitações, o download da página será melhor, pois a indexação será mais rápida.
Conclusão
Espero que você tenha aproveitado muito este guia sobre análise de arquivos de log e ferramentas usadas para auditar os arquivos de log para SEO. A auditoria dos arquivos de log pode ser muito eficaz para melhorar os aspectos técnicos de SEO do site.
O Google Search Console e o SEMrush Log File Analyzer são duas opções para uma ferramenta de análise gratuita e básica. Como alternativa, verifique Screaming Frog Log File Analyzer, JetOctopus ou Oncrawl Log Analyzer para entender melhor como os bots de mecanismos de pesquisa interagem com seu site; você pode usar ferramentas mistas de análise de arquivos de log premium e gratuitas para SEO.
Você também pode ver alguns rastreadores avançados de sites para melhorar o SEO.