Digitale Welt | Mittwoch, 16. November 2005

Nö, t-info, so nicht.

Nachdem der Remote-User de-crawler1-ext.tinfo.odn.de einige tausend Mal mit dem User-Agent gonzo1[P] mailto:crawleradmin.t-info@telekom.de auf meine Seiten zugegriffen hatte, habe ich mich bei der angegebenen E-Mail-Adresse erkundigt, für welche Zwecke der Crawler diese Unmengen von Daten sammelt. Im übrigen sei es ja eigentlich auch gute Sitte, im User-Agent String einen URL zu einer Info-Seite o. ä. mitzuliefern. Einen Tag später bekam ich Antwort von der t-info GmbH:

Wir sind gerade dabei, eine neue Spezialsuchmaschine zu erproben, die in einigen Monaten live gehen wird – dann können wir Ihnen auch gerne nähere Informationen dazu geben.

Nö, so nicht. Wenn überhaupt, dann andersherum: t-info gibt mir vorher Informationen über ihre rege Datensammelei, und anschließend überlege ich mir, ob ich das eventuell gut finde. Geheimniskrämerei finde ich aber gar nicht gut, deshalb bleibt dieser t-info Crawler ab sofort draußen.

Kommentare:

Bei den Kommentaren handelt es sich um fremde Inhalte, die sich „esse est percipi“ nicht zueigen macht. Verantwortlich für den Inhalt eines Kommentars ist der jeweilige Verfasser.

Mario Mittwoch, 16. November 2005, 17:38 Uhr

Was ich da nicht ganz verstehe: odn.de?! Was haben die mit der Telekom zu tun?

Michael Preidel Mittwoch, 16. November 2005, 17:57 Uhr

Ja, das kam mir auch seltsam vor. Die Telekom sollte doch eigentlich selbst über geeignete Infrastruktur verfügen …

Jos Dienstag, 13. Dezember 2005, 17:54 Uhr

Meiner Meinung nach soll mit dem Hinweis auf „Telekom“ Seriösität vorgegaukelt werden, die ich unter den gegebenen Verhältnissen nicht zu erkennen vermag.

Ein seriöses Unternehmen verfügt für Testzwecke über eine Testumgebung – es riecht nach Content- und/oder Kozeptklau.

Meine Empfehlung: Bot via .htaccess.Datei aussperren!

Sandra Dienstag, 21. Februar 2006, 14:50 Uhr

Leider stören die sich nicht an der robots.txt und die .htaccess sperrt sie auch nicht.
Ich hab jetzt die IP per .htaccess ausgeschlossen – die kommen immer über dieselbe :-(
LG
Sandra

Michael Preidel Dienstag, 21. Februar 2006, 15:58 Uhr

Ich habe die auch per htaccess gesperrt, als ich gemerkt habe, dass sich der Crawler nicht an die robots.txt hält. Dabei wurde mir von matthias.waltenberger [at] telekom.de ausdrücklich das Gegenteil versichert:

Der Crawler arbeitet nach den Regeln, die in der robots.txt festgelegt sind.

Ich hatte ursprünglich den User Agent ^gonzo1 gesperrt, allerdings musste ich neulich feststellen, dass die mittlerweise auch mit einem gonzo2 unterwegs sind – ziemlich dreist, wie ich finde.

Sandra Dienstag, 28. Februar 2006, 08:25 Uhr

So funktioniert es in der .htaccess:

RewriteCond %{HTTP_USER_AGENT} gonzo [OR,NC]

LG
Sandra

MPj Montag, 26. Juni 2006, 18:15 Uhr

Ich musste gerade feststellen, dass dieses „Ding“ Unwesen auf meiner Website treibt. ;) Hab dann mal gegoogelt und bin hierher gekommen.

Was ist das denn nun eigentlich?

Und mit IP ausschließen wird wohl schwer, bis jetzt habe ich 6 verschiedene gezählt…

Gruß,
MPj

MPj Montag, 26. Juni 2006, 18:16 Uhr

Ich musste gerade feststellen, dass dieses „Ding“ Unwesen auf meiner Website treibt. ;) Hab dann mal gegoogelt und bin hierher gekommen.

Was ist das denn nun eigentlich?

Und mit IP ausschließen wird wohl schwer, bis jetzt habe ich 6 verschiedene gezählt…

Gruß,
MPj

Musel Sonntag, 30. Juli 2006, 03:28 Uhr

Ich streite mich auch schon seit Tagen mit de Teil rum.
Ich habe ne Mail an odn.de gesendet.. also ehr gesagt 2 aber noch keine Antwort bekommen.

Für alle die Problem mit sowas haben den wegzubekommen, einfach mal auf http://www.bot-trap.de/blog/ schauen und sich den PageRestrictor Holen.. super sache das ganze und man kann sich als Webmaster wieder um wichtigere Sachen kümmern.

Gruss Musel

admin power Samstag, 5. August 2006, 20:38 Uhr

gonzo1[P] mailto:crawleradmin.t-info@telekom.de

ob woll ich den blockiert habe die ip un seine e-mail adrersse kommt der immer wieder was mache ich mit ihn

der ist geblockt von mit und ist immer noch im meinen forum kommt aber an nichts mehr rann hoffe ich