en sökmotor spindel, även känd som en sökrobot, är en Internet bot som genomsöker webbplatser och lagrar information för sökmotorn att indexera.
Tänk på det här sättet. När du söker på något på Google kan dessa sidor och sidor med resultat inte bara materialiseras ur luften. Faktum är att de alla kommer från Googles index, som du kan visualisera som ett enormt, ständigt växande bibliotek med information-text, bilder, dokument och liknande. Det är ständigt växande eftersom nya webbsidor skapas varje dag!
inte en faktisk skildring av ett sökmotorindex.
Så, hur kommer de nya sidorna in i indexet? Sökmotorspindlar, förstås.
hur fungerar sökmotorspindlar?
spindlar, som Googlebot, besöker webbsidor på jakt efter nya data att lägga till i indexet. Detta är viktigt eftersom Googles affärsmodell (locka konsumenter och sälja annonsutrymme) är beroende av att tillhandahålla högkvalitativa, relevanta och aktuella sökresultat.
spindlarna är också ganska smarta. De känner igen hyperlänkar, som de antingen kan följa direkt eller notera för senare krypning. Hur som helst fungerar interna länkar mellan sidor på samma webbplats på samma sätt som stepping stones, genom att de banar väg för spindlar att krypa och lagra ny information.
talar om vilka…
varför ska jag bry mig om sökmotorspindlar?
sökmotoroptimering (SEO) handlar om att öka din synlighet i de organiska sökresultaten. Du siktar på att uppnå domänmyndighet och få din webbplats på sidan ett för så många nyckelord som möjligt.
ett bra första steg mot sidan ett: så att sökmotorn faktiskt kan hitta dina webbsidor. Om dina saker inte indexeras sniffar du inte ens sidan 13.
de goda nyheterna: du behöver inte arbeta för hårt för att få dina nya sidor genomsökta och indexerade. I grund och botten, så länge du länkar till ditt nya innehåll från något gammalt innehåll, kommer spindlarna så småningom att följa dessa länkar till den nya sidan och lagra den för indexering. Som vi sa tidigare: Interna Länkar är avgörande.
Om du är angelägen om att få dina nya saker indexerade och i sökresultaten så snart som möjligt kan du direkt skicka in den nya webbadressen till Google och berätta för spindeln att genomsöka den. När du träffar skicka, det bör inte vara mer än några minuter.
kan jag göra något för att hjälpa sökmotorspindlar?
varför, ja. Ja, det kan du.
i huvudsak vill du att spindlarna ska se så mycket av din webbplats som möjligt, och du vill göra deras navigering så sömlös som den kan vara. Börja med din webbplats hastighet. Spindlarna syftar till att arbeta så snabbt som möjligt utan att sakta ner din webbplats på bekostnad av användarupplevelsen. Om din webbplats börjar släpa, eller serverfel uppstår, kommer spindlarna att krypa mindre.
detta är naturligtvis motsatsen till vad du vill: mindre genomsökning betyder mindre indexering betyder sämre prestanda i sökresultaten. Site hastighet är nyckeln.
behåll en XML-webbplatskarta för att skapa en bekväm katalog för sökmotorerna. Detta kommer att berätta för dem vilka webbadresser som behöver regelbundet genomsökning.
en grundläggande princip för webbplatsarkitektur: håll klick till ett minimum. För att vara mer exakt bör ingen sida på din webbplats vara mer än 3 eller 4 klick bort från en annan. Något mer än det gör navigering besvärlig för både användare och spindlar.
slutligen, reservera en unik URL för varje enskilt innehåll. Om du tilldelar flera webbadresser till samma sida blir det oklart för spindlarna som de ska använda. Kom ihåg: en grundläggande del av SEO gör spindlarnas jobb enkelt. Belabor inte spindlarna, och du kommer att bli bra.