SEO fĂĽr den Crawler: Wie oft schaut der Bot vorbei?
Der Rage Rank einer Website, also die Bewertung einer Seite durch die Suchmaschine, hängt wesentlich davon ab, wie oft der Crawler diese Website inspiziert und wie viele URL-Ebenen er sich ansieht. Google definiert hierzu für jede Website ein Crawling-Budget. Es setzt sich zusammen aus Crawling-Frequenz und Crawling-Bedarf.
PageSpeed beeinflusst Crawling-Frequenz
Die Häufigkeit, mit der der Googlebot nach Neuigkeiten auf der Website sucht, ist durch eine maximale Abrufrate begrenzt. Der Crawler nutzt hier gleichzeitig parallele Verbindungen: je eher die Seite reagiert, desto mehr Verbindungen kann er nutzen und bewerten. Das bedeutet, je schneller die Ladegeschwindigkeit einer Website, desto mehr Website-Ebenen kann der Bot erreichen und desto besser kann ihr Ranking ausfallen. Die Crawling-Frequenz läßt sich auch in der Google Search Console beeinflussen, allerdings berücksichtigt Google nur eine Reduzierung der Frequenz.
Crawling-Bedarf richtet sich nach Traffic
Der Crawling-Bedarf einer Website ergibt sich für Google aus der Beliebtheit ihrer URLs. Hierbei spielen starke Backlinks, die Klickrate und Social Signals eine wichtige Rolle. Denn viraler Content signalisiert dem Bot hohes Interesse. Deshalb sollten die URLs stets aussagekräftig auf dem neuesten Stand sein, bei einem Relaunch der Website kann die Crawling-Frequenz zudem steigen, weil neue URLs zu alten Inhalten identifiziert werden.
Schnell, aktuell und lebendig – so erhöhen Sie Ihr Crawling-Budget
Um also ein hohes Crawling-Budget von Google zu erhalten, sollte die Website auf PageSpeed optimiert sein und stets neuen interessanten Content bieten. So kann der Bot das lebendige Interesse an der Website mit einer höheren Plazierung auf den Suchmaschinen-Ergebnisseiten/SERP belohnen.
