a search engine spider, também conhecido como web crawler, é um bot da Internet que rastreia sites e armazena informações para o motor de busca indexar.pensa assim. Quando você busca algo no Google, essas páginas e páginas de resultados não podem simplesmente materializar-se do nada. Na verdade, todos eles vêm do índice do Google, que você pode visualizar como uma enorme e sempre em expansão biblioteca de informações-texto, imagens, documentos, e afins. Está sempre em expansão porque novas páginas da web são criadas todos os dias!
Not an real depiction of a search engine index.então, como é que essas novas páginas entram no índice? Aranhas do motor de busca, claro.como funcionam as aranhas do motor de busca?
aranhas, como o Googlebot, visitam páginas web em busca de novos dados para adicionar ao índice. Isto é fundamental porque o modelo de negócio da Google (atrair consumidores e vender espaço de anúncios) é dependente de fornecer resultados de pesquisa de alta qualidade, relevantes e atualizados.as aranhas também são muito inteligentes. Eles reconhecem hyperlinks, que eles podem seguir imediatamente, ou tomar nota para mais tarde rastejar. De qualquer forma, os links internos entre as páginas no mesmo site funcionam de forma semelhante aos stepping stones, na medida em que eles pavimentam o caminho para as aranhas rastejarem e armazenarem novas informações.
falando nisso…
por que eu deveria me importar com aranhas do motor de busca?
Search engine optimization (SEO) é tudo sobre aumentar a sua visibilidade nos resultados de pesquisa orgânica. Você está visando atingir a Autoridade de domínio e obter o seu site na página um para o maior número de palavras-chave possível.
um bom primeiro passo para a página um: permitindo que o motor de busca realmente encontrar as suas páginas web. Se as tuas coisas não estão a ser indexadas, nem sequer estás a cheirar a Página 13.
the good news: you don’t have to work too hard to get your new pages crawl and indexed. Basicamente, enquanto você ligar para o seu novo conteúdo a partir de algum conteúdo antigo, as aranhas eventualmente seguirão esses links para a nova página e armazená-lo para indexação. Como dissemos anteriormente: as ligações internas são cruciais.
Se você está ansioso para obter o seu novo material indexado e nos resultados de pesquisa o mais rápido possível, você pode enviar diretamente o novo URL para o Google e dizer ao aranha para rastejá-lo. Assim que carregares no submit, não deve demorar mais do que alguns minutos.
Can I do anything to help the search engine spiders?Sim. Podes, sim.
em essência, você quer que as aranhas para ver tanto do seu site quanto possível, e você quer fazer sua navegação tão sem costura quanto pode ser. Comece com a velocidade do seu site. As aranhas visam trabalhar o mais rapidamente possível, sem abrandar o seu site à custa da experiência do utilizador. Se o seu site começar a ficar sem rede, ou surgirem erros de servidor, as aranhas rastejarão menos.
isto, é claro, é o oposto do que você quer: menos rastejar significa menos indexação significa pior desempenho nos resultados da pesquisa. A velocidade do local é a chave.
manter um sitemap XML para criar um diretório conveniente para os motores de busca. Isto vai dizer-lhes que URLs precisam de rastejar regularmente.
a basic principle of site architecture: keep cliques to a minimum. Para ser mais preciso, nenhuma página em seu site deve ser mais de 3 ou 4 cliques de distância de outro. Qualquer coisa mais do que isso torna a navegação complicada tanto para os utilizadores como para as aranhas.
finalmente, reserve um URL único para cada pedaço de conteúdo. Se você atribuir vários URLs para a mesma página, torna-se incerto para as aranhas que eles devem usar. Lembre-se: uma parte fundamental do SEO é tornar o trabalho das aranhas fácil. Não menosprezes as aranhas, e vais ficar bem.