Kurz gesagt
- Google definiert das Crawl-Budget als die Gesamtheit der URLs, die es auf einer Website crawlen kann und will.
- Sein Guide richtet sich vor allem an Websites mit mehr als einer Million Seiten oder mit mehr als 10 000 Seiten, die sich täglich ändern, sowie an jene mit vielen URLs „Erkannt, derzeit nicht indexiert“.
- Auf einer E-Commerce-Website ist die erste Ursache für Verschwendung die Facetten-Navigation, gefolgt von Sortierungen und Parametern.
- Das Ziel ist nicht, mehr gecrawlt zu werden, sondern auf den richtigen Seiten gecrawlt zu werden.
Das Crawl-Budget ist ein Thema, das viele Website-Betreiber beunruhigt, oft zu Unrecht. Bei den meisten Websites crawlt Google ohne Schwierigkeit alles, was es verdient. E-Commerce-Kataloge mit Facetten-Navigation gehören zu den Ausnahmen.
Was das Crawl-Budget ist
Google definiert es als die Gesamtheit der URLs, die es auf einer Website crawlen kann und will. Da das Web praktisch unendlich ist, begrenzt Google die Zeit und die Ressourcen, die es jeder Website widmet. Zwei Faktoren spielen eine Rolle: die Fähigkeit Ihres Servers, ohne Verzögerung zu antworten, und das Interesse, das Google Ihren Seiten entgegenbringt.
Wer betroffen ist
Der Guide von Google richtet sich vorrangig an:
- große Websites (mehr als eine Million eindeutige Seiten), deren Inhalt sich mindestens wöchentlich ändert;
- mittlere Websites (mehr als 10 000 eindeutige Seiten), deren Inhalt sich sehr schnell, täglich ändert;
- Websites, bei denen ein großer Teil der URLs in der Search Console als „Erkannt, derzeit nicht indexiert“ eingestuft ist.
Eine E-Commerce-Website mit 3 000 Produkten scheint weit von diesen Schwellen entfernt. Doch mit ihren Facetten kann sie Hunderttausende URLs erzeugen: Jede Filterkombination, jede Sortierung, jeder Parameter erzeugt eine eigene Adresse.
Die Quellen der Verschwendung im E-Commerce
| Quelle | Beispiel | Behandlung |
|---|---|---|
| Facettenkombinationen ohne Nachfrage | ?couleur=vert&taille=36&matiere=lin |
Crawling blockiert, oder Filter als Fragment # |
| Sortierungen | ?tri=prix-croissant |
Crawling blockiert |
| Technische Parameter | Sitzungs-IDs, Tracking | Crawling blockiert, interne Links ohne Parameter |
| Leere Seiten | Filter ohne Produkt | Statuscode 404 |
| Duplikate | dasselbe Produkt unter mehreren URLs | Konsolidierung (Canonical, Weiterleitung) |
| Weiterleitungsketten | alte URLs mehrfach weitergeleitet | Direkte Weiterleitung auf die endgültige URL |
Google erinnert in seiner Dokumentation vom Dezember 2024 daran: Die Facetten-Navigation ist mit Abstand die häufigste Ursache für übermäßiges Crawling, die Website-Betreiber melden.
Die entscheidenden Hebel
- Den URL-Bestand verwalten: In der robots.txt das Crawling der URLs blockieren, die nicht indexiert werden sollen.
- Duplikate zusammenführen, damit Google nicht mehrere Versionen derselben Seite crawlt.
- Eine Sitemap aktuell halten, beschränkt auf indexierbare Seiten, die mit 200 antworten.
- Weiterleitungsketten vermeiden und Serverfehler.
- Die Seiten beschleunigen: Ein schneller Server erlaubt Google, mehr zu crawlen, ohne ihn zu überlasten.
Das richtige Ziel
Das Ziel ist nicht, mehr gecrawlt zu werden, sondern auf den richtigen Seiten gecrawlt zu werden: Ihren Kategorien, Ihren Facetten mit echter Nachfrage, Ihren Produktseiten. Facetten, die indexiert werden sollen, müssen crawlbar und gut verlinkt bleiben, wie wir in unserem Guide zur Facetten-Navigation erklären.
Ist das Crawling bereinigt, muss jede indexierte Seite ihren Platz mit eigenen Tags und eigenem Text rechtfertigen: Eine gecrawlte, aber generische Seite bleibt eine schwache Seite. Das ist der Teil, den unblind automatisiert.
Häufige Fragen
Betrifft das Crawl-Budget meine E-Commerce-Website?
Wahrscheinlich nicht, wenn Sie einige Tausend Seiten haben. Betroffen sind Sie, wenn Ihr Katalog Hunderttausende URLs erzeugt (oft wegen Facetten und Sortierungen) oder wenn die Search Console einen großen Anteil an URLs „Erkannt, derzeit nicht indexiert“ zeigt.
Wie reduziert man verschwendetes Crawl-Budget?
Blockieren Sie das Crawling wertloser URLs (Facettenkombinationen ohne Nachfrage, Sortierungen, Sitzungsparameter) in der robots.txt, führen Sie Duplikate zusammen, halten Sie eine Sitemap nur mit indexierbaren Seiten aktuell und vermeiden Sie Weiterleitungsketten.