Tag elf: WebmasterTools und robot.txt

Bis vor kurzem kannte ich nur den Carpet-Crawler...

Im Web gehts mit dem Thema Crawler (übersetzt eigentlich: Kriecher) um den Roboter, der deine Seite ausspioniert. Da ist insofern nix gegen einzuwenden, wenn du ganz vorne auf der Suchmaschinen-Ergebnisseite oder besser: SERP landen möchstest. Du kannst den kleinen Spion sogar füttern, wie du das für richtig hälst, solltest aber wie immer wissen, was du tust...!

Aber nicht nur das. Du musst noch einige andere Dinge beachten, wenn du tiefer in die Materie, sozusagen ins Eingemachte der Suchmaschinen-Optinierung eindringen willst, Details, die du auch alle mit google Webmaster-Tools kontrollieren kannst.

Hier nur eine kleine Auswahl der Funktionen:

• im dashboard werden dirz.B. Crawling-Fehler angezeigt 
• unter Konfigurationen  kannst du URL`s ausschließen (aufgepasst, dass du hier nicht seine ganze Seite verschwinden lässt), deine Adresse ändern, Nutzer und Partner hinzufügen
• unter Status gehts nochmal um Crawling-Fehler und Statistik (aufgepasst: dem Crawler besser nicht sagen, dass er jeden Tag vorbei kommen sollst. Der Kleine wird sonst sauer, wenn er nix Neues Schmackhaftes findet)
  

In der Datei robots.txt kannst du den crawler steuern, sagen, was er auslesen darf oder nicht. Der kleine Spion muss dann zuerst dort schauen, was er darf und was nicht. Findet er diese Datei nicht, hat er sozusagen eine Generalvollmacht. Um das zu vemeiden, musst du die robot.txt aber unbedingt auf dem Stamm- oder Root-Verzeichnis des Servers ablegen!

Mit Sitemap kannst du dem Crawler eine kurze Übersicht über die Seitenstruktur geben. Diese Sitemap ist eine Art Inhaltsverzeichnis. Um dies herzustellen, musst du aber wieder viele komische Zeichen schreiben, ähnlich wie bei html. Glücklicherweise gibt es kostenlose Sitemap-Generatoren. Auch diese Datei gehört ins Root-Verzeichnes des Servers. 

Und dann gibt es noch .htaccess. (Vorsicht: empfindliche Daten). Auch diese Datei  muss auf den Server ins Root-Verzeichnis.)