O'Reilly logo

Technisches SEO by Dominik Wojcik, Stephan Czysch, Benedikt Illner

Stay ahead with the world's most comprehensive technology and business learning platform.

With Safari, you learn the way you learn best. Get unlimited access to videos, live online training, learning paths, books, tutorials, and more.

Start Free Trial

No credit card required

Kapitel 8. Crawling- & Indexierungssteuerung

In diesem Kapitel:

Als Crawling wird die automatische Analyse von URLs durch sogenannte Crawler, Spider oder Robots von Suchmaschinen bezeichnet. Das Crawling ist ein notwendiger Vorgang, damit ein Dokument überhaupt über Suchmaschinen gefunden werden kann. Es steht Ihnen als Webmaster frei, einzelne URLs, Verzeichnisse oder den gesamten Hostnamen von der Analyse durch Suchmaschinen auszuschließen. Als Instrument steht Ihnen dazu die Datei robots.txt zur Verfügung. Die Gründe, einen (Teil-)Ausschluss ...

With Safari, you learn the way you learn best. Get unlimited access to videos, live online training, learning paths, books, interactive tutorials, and more.

Start Free Trial

No credit card required