Ein Search Engine Spider, auch bekannt als Webcrawler, ist ein Internet-Bot, der Websites crawlt und Informationen speichert, die die Suchmaschine indizieren kann.
Stellen Sie sich das so vor. Wenn Sie etwas bei Google suchen, können diese Seiten und Ergebnisseiten nicht einfach aus dem Nichts entstehen. Tatsächlich stammen sie alle aus dem Google-Index, den Sie als enorme, ständig wachsende Informationsbibliothek visualisieren können – Text, Bilder, Dokumente und dergleichen. Es wächst ständig, weil jeden Tag neue Webseiten erstellt werden!
Keine tatsächliche Darstellung eines Suchmaschinenindex.
Also, wie kommen diese neuen Seiten in den Index? Suchmaschinen-Spider natürlich.
Wie funktionieren Suchmaschinen-Spider?
Spinnen, wie Googlebot, besuchen Webseiten auf der Suche nach neuen Daten, um sie dem Index hinzuzufügen. Dies ist von entscheidender Bedeutung, da das Geschäftsmodell von Google (Verbraucher anziehen und Werbeflächen verkaufen) darauf angewiesen ist, qualitativ hochwertige, relevante und aktuelle Suchergebnisse bereitzustellen.
Die Spinnen sind auch ziemlich schlau. Sie erkennen Hyperlinks, denen sie entweder sofort folgen oder für ein späteres Crawlen notieren können. In jedem Fall funktionieren interne Links zwischen Seiten derselben Site ähnlich wie Trittsteine, da sie Spinnen den Weg zum Crawlen und Speichern neuer Informationen ebnen.
Apropos…
Warum sollte ich mich um Suchmaschinenspinnen kümmern?
Bei der Suchmaschinenoptimierung (SEO) geht es darum, Ihre Sichtbarkeit in den organischen Suchergebnissen zu steigern. Sie möchten Domain Authority erreichen und Ihre Website für so viele Keywords wie möglich auf Seite eins bringen.
Ein guter erster Schritt in Richtung Seite eins: der Suchmaschine erlauben, Ihre Webseiten tatsächlich zu finden. Wenn Ihre Sachen nicht indiziert werden, schnüffeln Sie nicht einmal Seite 13.
Die gute Nachricht: Sie müssen nicht zu hart arbeiten, um Ihre neuen Seiten zu crawlen und zu indizieren. Solange Sie von einem alten Inhalt auf Ihren neuen Inhalt verlinken, folgen die Spider diesen Links schließlich auf die neue Seite und speichern sie zur Indexierung. Wie gesagt: Interne Links sind entscheidend.
Wenn Sie Ihre neuen Inhalte so schnell wie möglich indizieren und in die Suchergebnisse aufnehmen möchten, können Sie die neue URL direkt an Google senden und der Spinne mitteilen, dass Sie sie crawlen soll. Sobald Sie auf Senden klicken, sollte es nicht länger als ein paar Minuten dauern.
Kann ich etwas tun, um den Suchmaschinen-Spidern zu helfen?
Warum, ja. Ja, das kannst du.
Im Wesentlichen möchten Sie, dass die Spinnen so viel wie möglich von Ihrer Website sehen, und Sie möchten ihre Navigation so nahtlos wie möglich gestalten. Beginnen Sie mit der Geschwindigkeit Ihrer Website. Die Spinnen zielen darauf ab, so schnell wie möglich zu arbeiten, ohne Ihre Website auf Kosten der Benutzererfahrung zu verlangsamen. Wenn Ihre Website zu verzögern beginnt oder Serverfehler auftreten, kriechen die Spinnen weniger.
Dies ist natürlich das Gegenteil von dem, was Sie wollen: Weniger Crawling bedeutet weniger Indizierung bedeutet schlechtere Leistung in den Suchergebnissen. Site-Geschwindigkeit ist der Schlüssel.
Pflegen Sie eine XML-Sitemap, um ein bequemes Verzeichnis für die Suchmaschinen zu erstellen. Dadurch erfahren sie, welche URLs regelmäßig gecrawlt werden müssen.
Ein Grundprinzip der Site-Architektur: Halten Sie Klicks auf ein Minimum. Um genauer zu sein, sollte keine Seite auf Ihrer Website mehr als 3 oder 4 Klicks von einer anderen entfernt sein. Alles andere macht die Navigation für Benutzer und Spinnen gleichermaßen umständlich.
Schließlich reservieren Sie eine eindeutige URL für jeden einzelnen Inhalt. Wenn Sie derselben Seite mehrere URLs zuweisen, wird den Spinnen unklar, welche sie verwenden sollen. Denken Sie daran: Ein grundlegender Teil von SEO macht die Arbeit der Spinnen einfach. Belabor nicht die Spinnen, und Sie werden ganz gut.