Ich habe mal wieder ein kleines Tool programmiert, bei dem ich nicht weiß, ob es jemand braucht? Ich habe es dazu benutzt, um einen Artikel über die Bad Bots und deren Herkunft auf meinen Internetseiten zu verfassen. Die IP Adressen stammen dabei von einer Spiderfalle (spider trap), welche alle Bots aussperrt, welche sich nicht an die Regeln meiner robots.txt halten. Nun wollte ich wissen, woher all diese Bots stammen, da ich der Meinung war, dass diese IP Adressen eh alle nur aus Russland oder China kommen. Mit diesem Tool konnte ich mehrere hundert IP Adressen gleichzeitig auf ihrer Herkunft prüfen. Das Ergebnis wurde ja bereits in einem anderen Artikel veröffentlicht und bestätigte keineswegs meine Annahme.

In dem Tool zum gleichzeitigen Whois Abfragen mehrerer IP Adressen werden lediglich die IP Adressen unduntereinander ohne Komma oder Semikolon eingetragen. Anschließend auf den prüfen Button klicken. Als Ergebnis wird jede IP Adresse mit der Landesherkunft ausgegeben sowie eine Zusammenfassung, wie viele IP Adressen insgesamt aus welchem Land stammen. Einige Adressen können mit der von uns genutzten Datenbank nicht zugeordnet werden, wodurch dann das Ergebnis unbekannte IP-Adresse entsteht.

Die Whois Datenbank wird regelmäßig einmal pro Monat aktualisiert. Ich bin schon auf die Kommentare gespannt, ob jemand vielleicht eine andere Verwendung für dieses Tool hat. Denn wer prüft schon regelmäßig mehrere 100 IP Adressen auf deren Herkunft?

Ich hatte vor einiger Zeit einen Beitrag über Bad Bots, Spider und die so gesammelten IP Adressen veröffentlicht. Genau dieser IP Adressen habe ich nun mit einem Tool auf ihre Herkunft geprüft. Dazu habe ich folgende Feststellung und Zusammenfassung erstellten:

unbekannte IP-Adresse: 248
GERMANY : 176
UNITED STATES : 143
UNITED KINGDOM : 31
NETHERLANDS : 25
CHINA : 23
RUSSIAN FEDERATION : 18
SPAIN : 14
ROMANIA : 14
SWEDEN : 11
SWITZERLAND : 10
INDIA : 10
FRANCE : 10
ISRAEL : 10
CANADA : 10
JAPAN : 8
AUSTRIA : 6
ITALY : 6
TURKEY : 5
THAILAND : 5
DENMARK : 4
SAUDI ARABIA : 3
HUNGARY : 3
ISLAMIC REPUBLIC OF IRAN : 3
LATVIA : 2
POLAND : 2
MALAYSIA : 2
REPUBLIC OF KOREA : 2
CZECH REPUBLIC : 2
GREECE : 2
TAIWAN : 1
VIET NAM : 1
AUSTRALIA : 1
INDONESIA : 1
PHILIPPINES : 1
PAKISTAN : 1
NEW ZEALAND : 1
UKRAINE : 1
JORDAN : 1
BULGARIA : 1
ESTONIA : 1
IRELAND : 1
REPUBLIC OF MOLDOVA : 1
NORWAY : 1
ALBANIA : 1
OMAN : 1
PORTUGAL : 1
FINLAND : 1
GUYANA : 1
THE FORMER YUGOSLAV REPUBLIC OF MACEDONIA : 1
 

Ergebnis:

Ich nahm zunächst an, dass die meisten der ermittelten IP Adressen aus China und Russland stammen, was jedoch durch die Überprüfung der Adressen nicht bestätigt werden konnte. Sicherlich ist die Verallgemeinerung der ermittelten IP Adressen unter dem Stichwort Bad Bots (Böse Bots) nicht ordnungsgemäß, es sind sicherlich einige Crawler dabei, die sich nicht an die Regeln in der robots.txt halten und deswegen von meinem System ausgespart wurden. Sie glauben jedoch keinen Inhalt oder fallen in einer anderen Art und Weise negativ auf, wie man es von den chinesischen oder russischen Bots und Crawlern erwartet und kennt. Trotzdem werden alle diese IP Adressen in einen Topf geschmissen und als böse und krimineller IP Adressen bezeichnet. Da kann schon mal jemand mit einer IP Adresse dabei sein, der einfach nur seine defekten Links mit dem genialen und einfach zu bedienenden Programm Xenu´s Link Sleuth checken möchte. Oder wie ich ein Programm zum Erstellen einer Sitemap nutzt, welchem man sagen kann, ob es sich an die Regeln in der robots.txt halten sollten oder nicht. Mit einem kleinen Mausklick werden die verbotenen Pfade und Verzeichnisse trotzdem gecrawlt und schon tappt Programm und somit die IP Adresse in die Falle und erscheint bei mir als Bad Bot IP Adresse.

Also, ich lösche mal alle diese IPs aus meiner htaccess, mal sehen was passiert Da ja sehr viel mehr vermutete IPs aus Deutschland stammen, können nun alle deutschen Bad Bots diesen Artikel lesen, meine Seite überfallen und Content saugen. Hab nichts dagegen, mein Anwalt wird sich freuen, denn ich checke mit Plagaware Duplikate im Netz, die dann zur Anzeige gebracht werden. Kann auch eine schöne Geschäftsidee sein, um seriös Geld zu verdienen.