Eine robots.txt ermöglicht es Ihnen, die Crawler/Robots der Suchmaschinen daran zu hindern, bestimmte Unterseiten oder ganze Bereiche einer Website nicht zu crawlen und damit in den Index der jeweiligen Suchmaschine aufzunehmen. Diese Datei wird in dem Hauptverzeichnis gespeichert, in dem auch die Daten für die Website abgelegt sind. In der Datei können nun einerseits einzelne Seiten, andererseits aber auch ganze Ordner für den Robot der Suchmaschinen gesperrt werden.

robots.txt prüfen

Wenn Sie bereits eine robots.txt-Datei nutzen, sollten Sie sie einmal daraufhin testen, ob sie ihren Zweck auch erfüllt. Mit einem solchen Test überprüfen Sie zum einen, ob Sie vielleicht durch die Datei irgendwelche Unterseiten aus der Indexierung aussperren, die eigentlich gecrawlt werden sollten, und zum anderen, ob Seiten für die Indexierung freigegeben sind, die eigentlich nicht für die Öffentlichkeit bestimmt sind. Im Folgenden stellen wir Ihnen drei Tools vor, mit denen Sie eine solche Überprüfung ganz einfach vornehmen können:

Robots.txt Checker (Motoricerca)

Der Robots.txt Checker von Motoricerca ist einfach zu bedienen. Sie geben zunächst die URL der robots.txt ein, die Sie überprüfen möchten. Im Vergleich zu anderen Tools muss hier die komplette URL inklusive „robots.txt“ stehen, damit der Check funktioniert. Klicken Sie anschließend auf „Check robots.txt“. Gleich im Anschluss werden Ihnen die Ergebnisse angezeigt. Wenn der Checker Fehler findet, markiert er diese in der jeweiligen Zeile in rot und zeigt auch gleich an, worin der Fehler besteht (s. Beispiel im Screenshot).

Zum Tool

Robots.txt Syntax Checker

Auch bei diesem Syntax Checker geben Sie zunächst die URL ein, dieses Mal jedoch ohne “robots.txt”. Klicken Sie anschließend auf den Button „Submit this site’s robots.txt file for checking“ und starten Sie damit die Auswertung. Gefundene Fehler werden anschließend übersichtlich aufgelistet und auch die zugehörigen Probleme werden aufgezeigt. Dieses Tool ist besonders übersichtlich, weil auf die Einblendung von Zeilen, die in Ordnung sind, verzichtet wird.

Zum Tool

Google Webmastertools

Die Google Webmastertools können Sie für die Prüfung einer Website nur nutzen, wenn Sie ein Konto dafür besitzen. Gehen Sie dann wie folgt vor:

1. Suchen Sie die Startseite der Google Webmastertools auf und wählen Sie die Seite aus, deren robots.txt analysiert werden soll.
2. Links in der Menüleiste finden Sie unter dem Punkt „Website-Konfiguration“ den „Crawler-Zugriff“, den Sie bitte öffnen.
3. Klicken Sie ganz unten auf „Test“, damit die Analyse gestartet wird.

Ganz unten können Sie die Testergebnisse einsehen. Hier werden etwaige Fehler oder Unstimmigkeiten angezeigt.

robots.txt erstellen

Wenn Sie noch keine robots.txt einsetzen, können Sie diese ganz einfach mithilfe verschiedener Tools erstellen. Auch für diesen Fall zeigen wir Ihnen wieder drei nützliche Tools:

Robots.txt erstellen bei art2digital.com

Der robots.txt-Generator von art2digital.com ermöglicht es Ihnen, verschiedenste Einstellungen vorzugeben, die dann automatisch in den Text Ihrer robots.txt umgesetzt werden:

• Geben Sie ein, um wie viele Sekunden der Crawl ggf. verzögert werden soll.
• Schließen Sie auf Wunsch einzelne Such-Robots aus, beispielsweise den yahoo-slurp der Yahoo-Suchmaschine oder den googlebot der Google-Suchmaschine.
• Geben Sie bis zu fünf Verzeichnisse ein, die für Crawler gesperrt werden soll.

Sobald Sie den Button „Erstelle Robots.txt“ betätigen, erscheint im Feld darüber der generierte Code. Diesen müssen Sie nun nur noch in ein einfaches Textfile speichern, als „robots.txt“ (Kleinschreibung beachten!) speichern und ihn auf Ihren Webserver laden. Wenn das File online ist, sollten Sie es mit einem der oben genannten Tools überprüfen.

Zum Tool

Robots.txt erstellen bei Webmaster-Elite.de

Nicht annähernd so umfangreich ist das Tool der Webmaster-Elite; dennoch soll es nicht unerwähnt bleiben. Geben Sie zunächst die URL ein, für die die robots.txt erstellt werden soll. Wählen Sie aus, ob alle Suchmaschinen Ihre Website crawlen dürfen. Sie können bis zu drei bestimmte Verzeichnisse oder Dateien vom Crawler ausnehmen und hierfür sogar noch Ausnahmen für bestimmte Suchmaschinen definieren.

Klicken Sie anschließend auf den Button „Abschicken“ und auf der nächsten Seite wird der Text Ihrer robots.txt angezeigt.

Zum Tool

Robots.txt erstellen mit Google Webmastertools

Wenn Sie ein Webmastertools-Konto besitzen, können Sie damit auch eine robots.txt-Datei erstellen. Dabei handelt es sich von den drei Tools um die komfortabelste und umfangreichste Möglichkeit. Gehen dazu so vor:

1. Suchen Sie die Startseite der Google Webmastertools auf und wählen Sie die Seite aus, deren robots.txt analysiert werden soll.
2. Links in der Menüleiste finden Sie unter dem Punkt „Website-Konfiguration“ den „Crawler-Zugriff“, den Sie bitte öffnen.
3. Öffnen Sie die Registerkarte „Datei robots.txt erstellen“.
4. Wählen Sie aus, ob Sie grundsätzlich alle Crawler zulassen oder blockieren wollen (in letzterem Fall wird Ihre Website überhaupt nicht indiziert).
5. Im nächsten Schritt können Sie optional weitere Regeln angeben. Sie können Verzeichnisse oder Dateien für alle oder einzelne Crawler blockieren oder zulassen.
6. Sobald Sie eine neue Regel angelegt haben, wird sofort im Feld darunter der geänderte Text der robots.txt angezeigt.
7. Über die Schaltfläche „Download“ können Sie die bereits fertige Datei herunterladen, die Sie dann nur noch auf Ihrem Webserver speichern müssen.

Das Gründerlexikon hat in einer 4-teiligen Serie die drei großen Suchmaschinen auf die Brauchbarkeit der Suchergebnisse für den Suchenden getestet. Sehr interessante Statistiken sind dabei rausgekommen. Gewinner, wenn auch ganz knapp, Google. Yahoo und bing lieferten die selben statistischen Daten und Ergebnisse. Im Allgemeinen fielen jedoch die Suchergebnisse für alle 3 Riesen eher mieserabel aus.

Wie wurde getestet?

Anhand des Suchbegriffes Krankenversicherung Beitrag selbständig erhoffte man sich Suchergebnisseiten, welche Infos zu den gesetzlichen und privaten Krankenversicherungen, den Beitragsbemessungsgrenzen und dem Bonus für Existenzgründer mit dem Gründungszuschuss bereithielten. Dazu hätte man jedoch den Suchbegriff etwas präzieser wählen müssen, da wir ja alle wissen, dass der Bereich der Krankenversicherungen ein hart umkäpfter Markt nciht nur bei Google sondern auch bei yahoo und bing ist.

Wie wurde der Suchbegriff ausgewählt?

Der Suchbegriff ist, wie bereits festgestellt, nciht optimal, resultierte jedoch aus der Befragung von 6 Probanden, die eben keine Ahnung von Suchmaschinenmakreting, Keywords und SEO haben. Eben der Durchschnittsbürger, der sich auf seine Existenzgründung konzentriert. Daher auch dieser unpräzise Suchbegriff und die unzufriedenstellenden Suchergebnisse der Sumas.

Als guten Suchbegriff hätten wir folgenden vorgeschlagen

gesetzliche Krankenversicherung Beitrag selbständig Gründungszuschuss

Und siehe da, da stehen dann auch die Seiten vom Gründerlexikon auf Platz 3 – es liegt also wirklcih nur am Suchbegriff.

Wie bringen wir den Menschen die richtige Auswahl und Kombination der Suchbegriffe bei?

Das ist in der Tat ein Problem. Man könnte zu diesem Thema mal eine Kurs bei einem Bildungsträger oder der Volkshochschule halten, doch leider interessiert das dort niemanden, da es nicht vom Arbeitsamt oder irgend einem anderem Förderträger bezuschusst und gesponsert wird. Warum das so ist, verrät der Artikel zum Thema Arbeitsamt. Die "normalen Leute" sehen auch nicht ein, für solch einen Kurs das Honorar eines SEOs zu zahlen und für 10 EUR / Stunde bleibt sicher jeder zu Hause, der nur halbwegs Ahnung vom Suchmaschinengeschäft hat und lässt die Menschen weiter ihre viel zu allgemeinen oder gar themenirrelevanten Suchbegriffe eintippen.

Also doch eine Onlineseminar?

Ist auch Zwecklos, denn genau dieses Onlineseminar zum Thema Erfolgreiches Suchen mit Suchmaschinen durch die richtigen Suchbegriffe das finden ja genau diese Menschen nicht, weil sie auch hier die falschen Suchbegriffe zur Suche wählen, ein Teufelskreis. Wir lassen uns was einfalle, versprochen

Da das Thema Suchmaschinenoptimierung sehr umfangreich ist und durch viele Fachbegriffe aus der Programmiererwelt geprägt wird, empfehlen wir die von uns verlinkten Begriffe näher zu studieren, um so entsprechende Inhalte autodidaktisch zu erschließen. Das entlastet unsere Reihe enorm, so dass wir uns auf das Wesentliche beschränken können. Im Übrigen, um folgende Texte, Inhalte und Zusammenhänge verstehen zu können empfehlen wir Grundkenntnisse in der Programmiersprache HTML, aber auch in der Formatierungssprache CSS, welche in Verbindung mit HTML benutzt wird.

Was heißt SEO?

Es ist die englische Bezeichnung für Search Engine Optimization und heißt übersetzt Suchmaschinenoptimierung.

Den Nutzen und die Notwendigkeit erkennen

Das Ziel ist recht einfach erklärt. Wir drücken es kurz und knapp so aus:

„Gestalten Sie Ihre Website oder Ihren Webshop so, dass Suchmaschinen wie Google, Yahoo oder MSN Ihre Seite als wichtig erachten, das Thema der Seite erfassen können und aufgrund dieser Tatsachen der Seite eine gute Platzierung in der Liste der Sucherergebnisse zu einem seitenrelevanten Begriff geben.“

Nun liegt der Nutzen nahezu auf der Hand. Wer die Zielgruppe oder die Nutznießer in Sachen SEO kennt, hat schon einen wesentlichen Schritt in die richtige Richtung getan. Wer dann noch weiß, was in groben Zügen bei diesem Handwerk zu beachten ist oder zumindest eine Ahnung davon hat, was mit SEO erreicht werden kann, der ist nicht selten ein Mitglied dieser Gruppe der Nutznießer.

Der Nutzen liegt also in der durch eine ordentliche Seitengestaltung vermittelten Besucher durch die Suchmaschinen. Mit diesen soll und muss der Umsatz der Webseite angekurbelt werden. Das kann zum einen durch eine Steigerung des Umsatzes des Webshops passieren, zum anderen durch die Steigerung der Werbeeinnahmen der Seite.

Der Nutzen für Seitenbetreiber am Beispiel Meier

Der kaufinteressierte Hans Meier möchte vor seinem Kauf Informationen zum Thema Gartenmöbel. Er hat noch nie außerhalb von eBay etwas im Internet erworben. Da er ja kein direktes Kaufinteresse hat und Informationen oder Testberichte zu einigen Möbeln sucht, gibt er das Wort „Gartenmöbel“ in der Suchmaschine ein. Nun werden ihm mehrere tausend Ergebnisse in kleinen Portionen zu jeweils 10 Einträgen pro Seite angezeigt. Herr Meier hat die Zeit nicht, jeden einzelnen Eintrag zu prüfen, daher beschränkt er sich auf die ersten 20, blättert also auf der Suchergebnisseite 1 und 2 hin und her und klickt ab und an mal auf einen viel versprechenden Eintrag, in der Hoffung die gewünschten Informationen auf der aufschnippenden Seite mit wenigen Blicken zu finden. Das gelingt ihm mehr oder weniger gut, denn auf einigen Seiten findet er zum gesuchten Thema rein gar nichts, andere Seiten strotzen nur so vor Werbung, mehrere Popups und ein Hover Ad öffnen sich und Herr Meier wird eher abgeschreckt als informiert. Die Auswahl seiner Klicks innerhalb der Suchergebnisliste wird durch das innere Gefühl, Sympathie und Antipathie sowie die beschreibenden Texte, die so genannte Meta Description, der gelisteten Webseite bestimmt. Deswegen klickt Herr Meier nicht auf jeden Eintrag, sondern selektiert mit dem Auge schon mehr als 50%. Aber Herr Meier hat Glück und findet eine Seite, wo ziemlich viel zu seinen Gartenmöbeln steht, die einzelnen Typen erklärt sind und auch Erfahrungsberichte von anderen Nutzern veröffentlicht wurden. Hier bleibt Herr Meier und klickt einige Minuten von Seite zu Seite und liest und klickt weiter und liest. Nun ist er überzeugt von seiner künftigen Kaufentscheidung. Doch plötzlich sieht Herr Meier, dass genau diese Seite auch seine geliebten Gartenmöbel anbietet. Die Versandkosten sind ok, so dass Herr Meier sich nun entscheiden muss, ob er im Baumarkt um die Ecke für 400,- EUR, bei eBay für 350,- EUR zzgl. Versand oder hier direkt im Shop für 360,- EUR zzgl. Versand die Objekte der Begierde erwirbt. Was daraus geworden ist wissen wir leider nicht, wir wissen nur eins, dass Herr Meier noch etliche male in dieser Woche auf seine Informationsseite zurückkam, um zu lesen und dabei auch seinen Lieblingstoaster fand. Die Adresse der Internetseite kennt Herr Meier bis heute noch nicht auswendig. Er findet die Seite aber immer anhand der Beschreibung und dem Titel in der Ergebnisliste, wenn er bei Google sein anfangs verwendeten Suchbegriff „Gartenmöbel“ eintippt.

Suchmaschinen

Selbstverständlich gibt es noch mehr Suchmaschinen als Google, Yahoo und MSN. Da dies jedoch die größten mit insgesamt mehr als 95% Marktanteil sind, können andere Anbieter eher vernachlässigt werden. Die TOP 3 stehen daher stellvertretend für alle Suchmaschinen im Web, so dass unsere Reihe nicht suchmaschinenspezifisch geschrieben werden soll, denn die meisten Grundregeln und Informationen gelten für alle Suchmaschinen gleichermaßen. In der Praxis ist Google der Marktführer und vermittelt daher den Seitenbetreibern die meisten Besucher. Somit wird Google die größte Bedeutung geschenkt sowie die meiste Zeit zur Optimierung gewidmet. Das ist der Grund für das Reduzieren vieler Webmaster von der allgemeinen Suchmaschinenoptimierung oder auch Internet-Marketing, Online-Marketing, Webpromotion oder Weboptimierung genannt, auf die Googleoptimierung.

Der seitenrelevante Begriff

Begriffe werden auch Keywords genannt, was man mit Schlüsselwörter übersetzen kann. In unserer Definition wird von seitenrelevanten Begriffen gesprochen, was für jeden Seitenbetreiber der Anlass sein sollte, wichtige, mit seiner Seite im Zusammenhang stehende Wörter oder Wortgruppen zu definieren. Warum? Das sind genau die Begriffe, nach dessen Eingabe in einer Suchmaschine der Webmaster seine Webseite unter einer der vorderen Plätze wieder finden möchte. Es ist also gar nicht oder nur sehr schwer möglich mit einer Vielzahl von Begriffen gleichzeitig Topplatzierungen zu erreichen. Fangen Sie zunächst mit drei ausgewählten Begriffen an.

Beispiel:
Sie betreiben einen Webshop zum Verkauf von Gartenmöbel, dann könnten Ihre Keywords beispielhaft lauten:

Gartenmöbel
Gartenmöbel teak
Gartenmöbel alu

An dieser Vorgehensweise erkennt man schon, dass genau diese Tätigkeit nicht nur von Ihnen durchgeführt wird und daher sehr viele Webseiten die oberen Positionen für sich beanspruchen möchten. Das geht selbstverständlich nicht. Aber wonach richtet sich die Platzierung, wer kommt hoch und wer bleibt unten?

Der Suchmaschinenalgorithmus

Genau der ist dafür verantwortlich die Webseiten in einer gewissen Reihenfolge als Ergebnis dem Suchenden anzuzeigen. Wie das genau berechnet wird, ist ein wohl gehütetes Geheimnis der Suchmaschinenbetreiber. Es gibt jedoch viele Tätigkeiten, Richtlinien sowie Do's and Dont's, die ein Seitenbetreiber anwenden und einhalten sollte, um den Suchmaschinenalgorithmus zu veranlassen, seine Seite wichtiger als andere zu deklarieren und somit mit einer höheren Position in der Suchmaschine zu versehen.

Zu den Tätigkeiten gehören nicht nur jene, welche sich mit Ihrer Seite selbst beschäftigen, die so genannte Onpageoptimierung, sondern auch diejenigen, die das Umfeld Ihrer Seiten oder Ihres Angebotes betreffen, also die Offpageoptimierung. Mit genau diesen Faktoren und Tätigkeiten, um genauer zu sein mit dem was man besser unterlassen sollte, um nicht von der Suchmaschinen mit einem schlechteren Platz abgestraft zu werden, beschäftigen wir uns in den nächsten Teilen dieser Reihe.

Vor vielen Jahren gestaltete sich die Optimierung von Webseiten etwas anders als heutzutage. Damals genügten schon wenige wichtige Wörter im Titel der Seite oder in den Meta-Tags um Topplatzierungen zu ergattern. Dementsprechend wurde auch geschraubt, gedreht und verdient. Das ist selbstverständlich nicht der Sinn einer Suchmaschine, denn die Betreiber dieser nützlichen Werkzeuge wollen nicht von sich glauben lassen, dass die Suchmaschinen manipulierbar sei. Derzeit gibt es mehrere Dutzend Faktoren und Elemente sowie die Linkpopularität einer Domain, welche in der Summe das Ranking einer Seite mehr oder weniger beeinflussen können. Daneben zählt auch die Struktur der Seite, der Seitenaufbau, die Häufigkeit der entscheidenden Keywords zu den Erfolgsfaktoren. Und genau den erwünschten Erfolg sollte man nicht in einzelnen Aktionen oder Elementen suchen, sondern immer in der Summe aller Tätigkeiten, also der Gesamtzahl aller Onpage- und Offpageoptimierungen.

Wie lange dauert es, bis man den Erfolg der Arbeit bemerkt?

Eine genaue Zeitangabe kann man keineswegs geben. Dabei kommt es auf das Thema der Seite an, den Umfang der Seiten u.v.m. SEO versteht sich auch nicht als eine abschließende Arbeit, sondern als einen fortwährenden Prozess, der stets und ständig betrieben werden muss.

„SEO ist wie schwimmen gegen den Strom, hört man auf, fällt man zurück.“

Dieser etwas abgewandelte Zitat von Lenin trifft es wohl am besten. Denn eins steht fest, der Suchmaschinenalgorithmus ändert sich ständig, wird angepasst und optimiert, so dass Aktionen, die heute was gebracht haben, morgen schon ein alter Hut sein können, weil die Suchmaschinen sich einfach darauf eingestellt haben und entsprechend filtern. Da die Algorithmen geheim sind, muss der SEO ständig testen und weiter nach Verbesserungsmöglichkeiten suchen. Das Tauziehen zwischen SEO und Suchmaschinenbetreiber kann mit dem Hin und Her zwischen Virenentwicklern, Hackern und der Internetsicherheitsbranche verglichen werden, welche stets und ständig nach den neusten Gemeinheiten der Schadprogrammentwicklern sucht.

In diesem Sinne hoffen wir, das mit unserer Reihe einige Aha Effekte erzeugt werden.