Un search engine spider, noto anche come web crawler, è un bot Internet che esegue la scansione di siti web e memorizza le informazioni per il motore di ricerca per indicizzare.
Pensalo in questo modo. Quando cerchi qualcosa su Google, quelle pagine e pagine di risultati non possono materializzarsi dal nulla. In realtà, tutti provengono da indice di Google, che è possibile visualizzare come un enorme, in continua espansione libreria di informazioni-testo, immagini, documenti, e simili. È in continua espansione perché nuove pagine web vengono create ogni singolo giorno!
Non è una rappresentazione reale di un indice di un motore di ricerca.
Quindi, come entrano queste nuove pagine nell’indice? Spider dei motori di ricerca, ovviamente.
Come funzionano gli spider dei motori di ricerca?
Gli spider, come Googlebot, visitano le pagine web alla ricerca di nuovi dati da aggiungere all’indice. Questo è fondamentale perché il modello di business di Google (attrarre consumatori e vendere spazio pubblicitario) dipende dalla fornitura di risultati di ricerca di alta qualità, pertinenti e aggiornati.
Anche i ragni sono piuttosto intelligenti. Riconoscono i collegamenti ipertestuali, che possono seguire subito o prendere nota per la scansione successiva. In entrambi i casi, i collegamenti interni tra le pagine dello stesso sito funzionano in modo simile a stepping stones, in quanto aprono la strada ai ragni per gattonare e memorizzare nuove informazioni.
A proposito which
Perché dovrei preoccuparmi degli spider dei motori di ricerca?
Search engine optimization (SEO) è tutto aumentare la visibilità nei risultati di ricerca organici. Stai mirando a raggiungere l’autorità del dominio e ottenere il tuo sito a pagina uno per il maggior numero possibile di parole chiave.
Un buon primo passo verso la prima pagina: consentire al motore di ricerca di trovare effettivamente le tue pagine web. Se la tua roba non viene indicizzata, non stai nemmeno annusando la pagina 13.
La buona notizia: non devi lavorare troppo per ottenere le tue nuove pagine scansionate e indicizzate. Fondamentalmente, finché si collega al nuovo contenuto da alcuni vecchi contenuti, gli spider alla fine seguiranno quei collegamenti alla nuova pagina e li memorizzeranno per l’indicizzazione. Come abbiamo detto prima: i collegamenti interni sono cruciali.
Se sei ansioso di indicizzare le tue nuove cose e nei risultati di ricerca il prima possibile, puoi inviare direttamente il nuovo URL a Google e dire al ragno di scansionarlo. Una volta premuto submit, non dovrebbe essere più di pochi minuti.
Posso fare qualcosa per aiutare gli spider dei motori di ricerca?
Perché, sì. Si ‘ che puoi.
In sostanza, vuoi che gli spider vedano il più possibile il tuo sito e vuoi rendere la loro navigazione il più fluida possibile. Inizia con la velocità del tuo sito. Gli spider mirano a lavorare il più rapidamente possibile senza rallentare il tuo sito a scapito dell’esperienza utente. Se il tuo sito inizia a rimanere in ritardo o emergono errori del server, gli spider gattoneranno di meno.
Questo, ovviamente, è l’opposto di quello che vuoi: meno scansione significa meno indicizzazione significa prestazioni peggiori nei risultati di ricerca. La velocità del sito è la chiave.
Mantenere una sitemap XML per creare una directory conveniente per i motori di ricerca. Questo dirà loro quali URL necessitano di una scansione regolare.
Un principio di base dell’architettura del sito: mantenere i clic al minimo. Per essere più precisi, nessuna pagina del tuo sito dovrebbe essere più di 3 o 4 clic di distanza da un altro. Qualcosa di più di questo rende la navigazione ingombrante per gli utenti e ragni allo stesso modo.
Infine, riserva un URL univoco per ogni singolo contenuto. Se assegni più URL alla stessa pagina, non è chiaro agli spider che dovrebbero usare. Ricorda: una parte fondamentale del SEO sta rendendo i lavori dei ragni facili. Non belabor i ragni, e si andrà bene.