Ich habe mal wieder ein kleines Tool programmiert, bei dem ich nicht weiß, ob es jemand braucht? Ich habe es dazu benutzt, um einen Artikel über die Bad Bots und deren Herkunft auf meinen Internetseiten zu verfassen. Die IP Adressen stammen dabei von einer Spiderfalle (spider trap), welche alle Bots aussperrt, welche sich nicht an die Regeln meiner robots.txt halten. Nun wollte ich wissen, woher all diese Bots stammen, da ich der Meinung war, dass diese IP Adressen eh alle nur aus Russland oder China kommen. Mit diesem Tool konnte ich mehrere hundert IP Adressen gleichzeitig auf ihrer Herkunft prüfen. Das Ergebnis wurde ja bereits in einem anderen Artikel veröffentlicht und bestätigte keineswegs meine Annahme.

In dem Tool zum gleichzeitigen Whois Abfragen mehrerer IP Adressen werden lediglich die IP Adressen unduntereinander ohne Komma oder Semikolon eingetragen. Anschließend auf den prüfen Button klicken. Als Ergebnis wird jede IP Adresse mit der Landesherkunft ausgegeben sowie eine Zusammenfassung, wie viele IP Adressen insgesamt aus welchem Land stammen. Einige Adressen können mit der von uns genutzten Datenbank nicht zugeordnet werden, wodurch dann das Ergebnis unbekannte IP-Adresse entsteht.

Die Whois Datenbank wird regelmäßig einmal pro Monat aktualisiert. Ich bin schon auf die Kommentare gespannt, ob jemand vielleicht eine andere Verwendung für dieses Tool hat. Denn wer prüft schon regelmäßig mehrere 100 IP Adressen auf deren Herkunft?

Mit diesem genialen Tool, findet man in wenigen Sekunden alle Websites oder URLs, welche die selbe IP Adresse haben, wie die der eingegebenen Internetadresse.

So findet man seine IP Nachbarschaft

Wir suchen beispielsweise den IP Nachbarn von ftd.de (Financial Times Deutschland) und geben dazu unter http://www.myipneighbors.com/

ftd.de in die Suchbox ein. Als Ergebnis wird folgendes angezeigt:

ftd.de has address 194.12.210.169

Außerdem eine Tabelle. Diese Tabelle zeigt also alle Internetadressen, welche ebenso auf der IP 194.12.210.169 gehostet sind.

Wozu dient die IP Suche nach den Webnachbarn?

1. Zunächst sicher um die eigene Neugier zu befriedigen.
2. Aber auch, um herauszufinden, ob der IP Nachbar vielleicht sehr viel Traffic verursacht und damit den Server und somit auch meine eigene Seite lahmlegt oder bremst. Also Performancerecherche. Wichtig für die Zugriffszeit der eigenen Website.
3. Sicher auch um im Vorfeld der Bestellung eines Webpaketes bei einem Webhoster schlechte Nachbarschaft oder auch bad neighborhood identifizieren zu können. DEnn wer liegt schon gern mit Porno oder Warezseiten auf einem Server?
4. Man kann aber auch herausfinden, ob man wirklich eine IP für sich allein erworben hat oder ob der Anbieter die Katze im Sack verkaufen will.

Alternative Dienste und gute Posts zum Thema IP Nachbarn identifizieren und herausfinden

Wir bleiben beim Beispiel ftd.de mit der IP 194.12.210.169

Suche über bing.de (MSN)

Bei bing einfach mit dem Zusatz IP alle Adressen mit dieser IP herausfinden. Die Eingabe sieht dann so aus:

"IP:194.12.210.169" und hier das Ergebnis:

http://www.bing.com/search?q=IP%3A194.12.210.169&go=&form=QBRE&filt=all

Guter Blogpost zum Thema IP Nachbarn

Artikel von Michael mit einer guten Zusammenfassung aller kostenlosen und kostenpflichtigen Dienste.

IP Check der Nachbarschaft von Linkvendor

Selbstverständlich darf Linkvendor in der Liste nicht fehlen. Bei der IP Reverse Anaylse hat mir besonders die übersichtliche Darstellung der Nachbarn, welche mit einem klickbaren Link versehen waren, gefallen. So kann man sich die Webseiten der Nachbarn gleich ansehen. Danke Marcus für das Tool. Marcus Tober hat auf de.linkvendor.com noch viele weitere SEO Tools, welche wir in unserer Kategorie SEO Tools vorstellen, testen und mit anderen Tools im Netz vergleichen werden.

Ich hatte vor einiger Zeit einen Beitrag über Bad Bots, Spider und die so gesammelten IP Adressen veröffentlicht. Genau dieser IP Adressen habe ich nun mit einem Tool auf ihre Herkunft geprüft. Dazu habe ich folgende Feststellung und Zusammenfassung erstellten:

unbekannte IP-Adresse: 248
GERMANY : 176
UNITED STATES : 143
UNITED KINGDOM : 31
NETHERLANDS : 25
CHINA : 23
RUSSIAN FEDERATION : 18
SPAIN : 14
ROMANIA : 14
SWEDEN : 11
SWITZERLAND : 10
INDIA : 10
FRANCE : 10
ISRAEL : 10
CANADA : 10
JAPAN : 8
AUSTRIA : 6
ITALY : 6
TURKEY : 5
THAILAND : 5
DENMARK : 4
SAUDI ARABIA : 3
HUNGARY : 3
ISLAMIC REPUBLIC OF IRAN : 3
LATVIA : 2
POLAND : 2
MALAYSIA : 2
REPUBLIC OF KOREA : 2
CZECH REPUBLIC : 2
GREECE : 2
TAIWAN : 1
VIET NAM : 1
AUSTRALIA : 1
INDONESIA : 1
PHILIPPINES : 1
PAKISTAN : 1
NEW ZEALAND : 1
UKRAINE : 1
JORDAN : 1
BULGARIA : 1
ESTONIA : 1
IRELAND : 1
REPUBLIC OF MOLDOVA : 1
NORWAY : 1
ALBANIA : 1
OMAN : 1
PORTUGAL : 1
FINLAND : 1
GUYANA : 1
THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA : 1
 

Ergebnis:

Ich nahm zunächst an, dass die meisten der ermittelten IP Adressen aus China und Russland stammen, was jedoch durch die Überprüfung der Adressen nicht bestätigt werden konnte. Sicherlich ist die Verallgemeinerung der ermittelten IP Adressen unter dem Stichwort Bad Bots (Böse Bots) nicht ordnungsgemäß, es sind sicherlich einige Crawler dabei, die sich nicht an die Regeln in der robots.txt halten und deswegen von meinem System ausgespart wurden. Sie glauben jedoch keinen Inhalt oder fallen in einer anderen Art und Weise negativ auf, wie man es von den chinesischen oder russischen Bots und Crawlern erwartet und kennt. Trotzdem werden alle diese IP Adressen in einen Topf geschmissen und als böse und krimineller IP Adressen bezeichnet. Da kann schon mal jemand mit einer IP Adresse dabei sein, der einfach nur seine defekten Links mit dem genialen und einfach zu bedienenden Programm Xenu´s Link Sleuth checken möchte. Oder wie ich ein Programm zum Erstellen einer Sitemap nutzt, welchem man sagen kann, ob es sich an die Regeln in der robots.txt halten sollten oder nicht. Mit einem kleinen Mausklick werden die verbotenen Pfade und Verzeichnisse trotzdem gecrawlt und schon tappt Programm und somit die IP Adresse in die Falle und erscheint bei mir als Bad Bot IP Adresse.

Also, ich lösche mal alle diese IPs aus meiner htaccess, mal sehen was passiert Da ja sehr viel mehr vermutete IPs aus Deutschland stammen, können nun alle deutschen Bad Bots diesen Artikel lesen, meine Seite überfallen und Content saugen. Hab nichts dagegen, mein Anwalt wird sich freuen, denn ich checke mit Plagaware Duplikate im Netz, die dann zur Anzeige gebracht werden. Kann auch eine schöne Geschäftsidee sein, um seriös Geld zu verdienen.