Inhaltsverzeichnis
Die Indexierung ist ein wesentlicher Bestandteil der Suchmaschinenoptimierung. Im Rahmen dieses Prozesses werden Websites von Google gescannt (gecrawlt) und in einer Datenbank, dem Google-Index, gespeichert, um später in den Suchergebnissen angezeigt zu werden. Ohne die Aufnahme in den Google-Index ist es nicht möglich, bei Google zu ranken und somit relevanten Traffic auf die eigene Website zu generieren.
Wie funktioniert die Google Indexierung?
Die Indexierung bei Google erfolgt in mehreren Schritten, die eng miteinander verknüpft sind. Zunächst muss Google die Website crawlen, um zu verstehen, welche Inhalte auf der Seite zu finden sind. Anschließend werden diese Inhalte von Google indexiert und in einer Datenbank gespeichert. Wenn ein Nutzer nun eine Suchanfrage stellt, durchsucht Google diese Datenbank und zeigt relevante Ergebnisse an.
Das Scanning bei Google erfolgt mithilfe von Crawlern, automatisierte Programme, die das Web durchsuchen und Websites aufspüren. Diese Crawler beginnen ihre Suche normalerweise bei bekannten Websites und folgen dann Links, um neue Websites zu entdecken. Sobald ein Crawler eine Website entdeckt hat, wird sie automatisch gescannt bzw. deren Inhalte erfasst.
Google stellt auf dieser Seite einen umfassenden Guide zum Crawling zur Verfügung.
Wann indexiert Google?
Google crawlt eine Seite, sobald Sie von ihr erfährt. Das bedeutet, entweder wenn eine andere Seite per Link auf diese verweist, oder wenn das Crawling aktiv angestoßen wird. Eine entsprechende Funktionalität gibt es in der Google Search Console. Einmal gecrawlt, kann es jedoch noch weitere Zeit dauern, bis eine Webseite in den Index aufgenommen.
Wenn Ihre Website oder Seite neu ist, befindet sie sich eventuell nicht in unserem Index, da wir sie noch nicht crawlen oder indexieren konnten. Nachdem Sie eine neue Seite online gestellt haben, kann es einige Zeit dauern, bis sie gecrawlt wird. Eine Indexierung dauert in der Regel noch länger. Die Gesamtdauer kann zwischen ein oder zwei Tagen und einigen Wochen liegen. Das hängt von vielen verschiedenen Faktoren ab.
Google
Um herauszufinden, ob eine Seite bereits indexiert wurde, können Sie eine Google-Suche mit dem Befehl „site:domainname“ durchführen. Wenn die Seite in den Suchergebnissen angezeigt wird, wurde sie bereits indexiert.
Warum indexiert Google meine Seite nicht?
Sollten Ihre Webseite entgegen der zuvor genannten nicht indexiert werden, so kann dies verschiedene Gründe haben. Möglicherweise hat Google die Seite noch nicht gefunden oder sie erfüllt die Qualitätsstandards der Suchmaschine nicht. In diesem Fall sollten Sie prüfen, ob die Seite für Google zugänglich ist und keine technischen Probleme oder Fehler enthält.
Mögliche Gründe können sein:
- Crawling-Problem
Wenn Google die Webseite nicht crawlen kann, kann sie nicht indexiert werden. Mögliche Ursachen für Crawling-Probleme können eine schlechte interne Verlinkung, eine schlechte Seitenstruktur oder eine robots.txt-Datei sein, die Google daran hindert, bestimmte Seiten zu crawlen. - Duplicate Content
Wenn der Inhalt einer Webseite bereits auf einer anderen Webseite vorhanden ist, wird Google wahrscheinlich eine der beiden Webseiten nicht indexieren, um Duplicate Content zu vermeiden. - Technische Probleme
Technische Probleme auf der Webseite wie langsame Ladezeiten, fehlerhafte Weiterleitungen, Fehlerseiten oder fehlende Metadaten können dazu führen, dass Google die Webseite nicht indexiert. - Penalty / Manuelle Maßnahme
Wenn eine Webseite gegen Googles Richtlinien verstößt, kann sie von Google bestraft werden. Dies kann dazu führen, dass die Webseite aus dem Index entfernt wird. - Meta-Tags
Wenn die Webseite eine „noindex“ Meta-Tag enthält, wird Google die Seite nicht indexieren. Dies kann beabsichtigt sein, wenn eine Webseite vorübergehend aus dem Index genommen werden soll, aber wenn der Tag vergessen oder irrtümlich gesetzt wurde, kann es dazu führen, dass die Webseite nicht indexiert wird.
Wie kann man die Google Indexierung beschleunigen?
Es gibt verschiedene Möglichkeiten, um die Indexierung von Webseiten bei Google zu beschleunigen. Hier sind einige Tipps:
- Sitemap einreichen: Eine Sitemap ist eine XML-Datei, die eine Übersicht über alle Seiten einer Website enthält. Indem man eine Sitemap bei Google einreicht, erleichtert man es den Crawlern, die Seite zu indexieren.
- Backlinks aufbauen: Backlinks von anderen Websites auf die eigene Seite können dazu beitragen, dass Google die Seite schneller und besser indexiert. Allerdings sollten diese Backlinks von qualitativ hochwertigen und relevanten Seiten stammen.
- Neue Inhalte erstellen: Regelmäßig neuen Content auf der Seite zu erstellen, kann dazu beitragen, dass Google die Seite schneller indexiert und besser platziert.
- Interne Verlinkung optimieren: Eine gut optimierte interne Verlinkung auf der eigenen Seite kann dazu beitragen, dass Google die Seite schneller indexiert und besser platziert.
Um die Indexierungsrate bei Google zu überwachen und zu optimieren, bieten sich verschiedene Tools an. Allen voran die Google Search Console. Mit dieser können Webseitenbetreiber nachvollziehen, welche Seiten bereits indexiert wurden und welchen eben nicht. Sie erfahren ebenfalls, warum es im Falle zu keiner Aufnahme in den Index gekommen ist.
Logfiles und Indexierung
Logfiles sind Textdateien, die Informationen über die Aktivitäten auf einer Website enthalten. Folglich können sie auch zur Überwachung der Indexierung genutzt werden, denn durch eine Logfile-Analyse finden Sie heraus, welche Seiten wann und wie oft von Google gecrawlt wurden und welche eben nicht. Vor allem bei sehr umfangreichen Webseiten bietet sich die Logfile-Analyse (z.B. mit dem Tool Screaming Frog Log File Analyser) an.
Ich möchte an dieser Stelle nicht in die Tiefe gehen. Stattdessen empfehle ich die folgenden Ressourcen, falls Sie sich tiefer mit diesem Thema beschäftigen möchten:
Welche Seiten sollten nicht indexiert werden?
Es gibt bestimmte Arten von Seiten, die von der Indexierung ausgeschlossen werden sollten und auch werden. Dazu gehören zum Beispiel Seiten mit duplizierten Inhalten, Seiten mit wenig oder keinem Inhalt, Seiten mit privaten Informationen oder Seiten mit unerwünschten Inhalten.
So schließen Sie Inhalte vom Index aus
Um solche Seiten von der Indexierung auszuschließen, können verschiedene Methoden angewendet werden, wie zum Beispiel die Verwendung von Meta-Tags oder Robots.txt-Dateien. Es ist jedoch wichtig, sicherzustellen, dass nur die gewünschten Seiten von der Indexierung ausgeschlossen werden, da eine falsche Konfiguration dazu führen kann, dass wichtige Seiten von der Suchmaschine nicht erfasst werden.
Über den Autor
Simon Kräling ist SEO-Freelancer unter der Flagge von SICHTBAR SEO, Google-Fan und am liebsten auf der ersten Seite. Angefangen hat alles vor mehr als 20 Jahren. Damals, noch zu Web 1.0 Zeiten, mit kleinen Internetseiten für Freunde und lokale Unternehmen. Mit der Weiterentwicklung des Internets hat sich auch sein Arbeitsschwerpunkt immer weiter verschoben. Simon ist passionierter Content- & Performance-Marketer und könnte ohne Probleme den ganzen Tag in der Google Search Console verbringen. Nach vielen Jahren als Inhouse-Marketer in multinationalen Unternehmen erfolgte der Seitenwechsel im Jahre 2020 mit der Gründung der SICHTBAR SEO Agentur.