Spambots, Emailsammler und URL-Hijacker, was dagegen tun?

Andi · 22 Dezember 2006, 15:15:41

In den letzten Tagen ist viel über dieses Thema zu lesen, dass ganze Seiten von Spambots übernommen wurden und dadurch bei Google besser gelistet werden als das Original.
Eine ausführliche Veröffentlichung findet sich bei nuke-news.de: http://nuke-news.de/article519.html
Und eine lebhafte Diskussion im Abakus Forum: http://www.abakus-internet-marketing.de/foren/viewtopic.php?t=30757

Eine prima Lösung für das Problem scheint wirklich das in diesen Publikationen verlinkte Tool "bot-trap" zu sein.

ZitatBot-Trap.de - Das Gemeinnützige Projekt gegen Web-Spam!
Ständig sind Robots (Bots, Spider) im WWW unterwegs. Einige mit negativen Absichten, so z.B. Link-Spam abzusetzen, Content zu stehlen, eMail-Adressen zu sammeln usw. Damit ist jetzt Schluss!

GEMEINSAM sammeln, identifizieren und sperren wir, was wir nicht länger tolerieren. Das sind u.a.:
Gästebuch Spam, Formular Spam, Forum Spam, Wiki Spam, Blog Spam, Referer Spam, Content Grabber, E-Mail Harvester, Scraper
... die Liste ist endlos. Ein bei uns frei erhältliches PHP Skript kann in die eigene Webpräsenz eingebunden werden und blockiert die Schädlinge. Das Script updated sich (ähnlich einem Virenscanner) von selbst mit neuen Sperrmerkmalen und Versionen. Frickeln an .htaccess Dateien war gestern!

Da wir alle wissen, daß auch nicht so nette Menschen an den Mechanismen unserer Arbeit interessiert sind, müssen wir leider eine ausführliche Selbstvorstellung im Forum verlangen. Nur echte Menschen mit ehrlichen Absichten sollen und dürfen mitmachen.

Schauen Sie dem Web Spam nicht länger ohnmächtig zu. Treten Sie der Community bei, profitieren Sie vom Austausch und der gemeinsamen Arbeit. Machen Sie mit und helfen Sie mit! Mehr im Wiki und im Forum [Anmeldung nötig]

Ich habe mich dort angemeldet und das Script jetzt testweise hier auf der Seite installiert.

Im Laufe des Tages werde ich hier die Installation im pragmaMx beschreiben und hoffe, dass einige User dann mitziehen werden....

EDIT:

Unsere News zum Thema: http://www.pragmamx.org/News-file-article-sid-637.html

Eine Einleitung zum Einbau findet sich hier: http://www.pragmamx.org/Content-pa-showpage-pid-66.html

jubilee · 22 Dezember 2006, 15:19:14

Für die Version 0.2 sollten wir auch etwas gegen die EMail - Harvester unternehmen.
Ich habe da noch eine schöne Klasse, die EMail-Adressen so anzeigt, das si für die Harverster unbrauchbar sind.
Die Arbeitet allerdings nicht mit Ascii-Umwandlung sondern bietet schon ein etwas ausgefeilteres System.
MfG

m-t · 22 Dezember 2006, 15:53:19

-> Im Laufe des Tages werde ich hier die Installation im pragmaMx beschreiben

und die persönliche vorstellung ?

doggie · 22 Dezember 2006, 16:00:09

Würde so eine Rattenfalle auch vor Datenklau aus der db schützen?

bei meiner jetzigen online-Pedigree-db haben die in den Perl-script was eigebaut, das bei solchen Angriffen eine emil sendet, dann kann man die IP sperren. bei mir gab es bisher keine Probleme. aber im am. Raum gibt es professionelle harvester, die versuchen Daten (die von privaten Betreiben kostenlos ins Netz gestellt werden) rauszuziehen und dann als "eigene" teuer zu verkaufen.

Ich habe nämlich vor irgendwann auf eine andere Version umzusteigen, die auch mit MySQL läuft. ob da so was schon drin ist, weiss ich nicht. wäre also sehr daran interessiert.

Andi · 22 Dezember 2006, 16:00:57

Zitat von: m-t am 22 Dezember 2006, 15:53:19
und die persönliche vorstellung ?

Meine?
die findet ihr hier, nach eurer Anmeldung dort....
http://www.bot-trap.de/forum/index.php?topic=1390.0

Um die Anmeldung und den Download muss sich jeder selbst kümmern. Das können wir nicht übernehmen, das würde gegen die Grundsätze von bot-trap.de verstossen.
Das Projekt lebt auch nur durch die aktive Teilnahme jedes einzelnen Users.

m-t · 22 Dezember 2006, 16:11:13

Zitat von: Andi am 22 Dezember 2006, 16:00:57
Um die Anmeldung und den Download muss sich jeder selbst kümmern. Das können wir nicht übernehmen, das würde gegen die Grundsätze von bot-trap.de verstossen.

das meinte ich :-)

Oscar175 · 22 Dezember 2006, 16:12:03

Hallo ich habe mich schon angemeldet und den Code bekommen.Werde auf deine Anleitung warten.

anauko · 22 Dezember 2006, 16:48:17

Hai
Habe mich auch vor einiger Zeit angemeldet, auch den Code bekommen. Nur mit dem Einbinden haperts.... .
Leider habe ich wegen meinem neuen Job kaum Zeit mich zu kümmern. Alles zur Zeit sporadisch. Aber ich freue mich auf eine Einbauanleitung.

Jetzt schon ein fettes Dankeschön!

GerhardSt · 22 Dezember 2006, 18:35:55

@Andi
Hallo, ich habe hier http://www.bot-trap.de/wiki/wikka.php?wakka=EinbauPHPNuke eine Einbauanleitung für PHPNuke gefunden, funktioniert diese auch unter PragmaMx richtig?
Kann man mit Hilfe der page.restrictor.inc.php die Speerseite auch an PragmaMx anpassen (so wie Errorseiten)?

Danke, für Deine Hilfe Gerhard

Andi · 22 Dezember 2006, 18:38:59

Einbau des bot-trap Codes in pragmaMx

werde Mitglied im Forum von bot-trap.de, stelle dich dort vor und lasse dir den Code zusenden
erstelle im mx-Webroot, dort wo die mainfile.php liegt, einen neuen Ordner "restrictor"
dorthin kopierst du die von bot-trap.de heruntergeladene Code-Datei "page.restrictor.php" und alle an diesen Post angehaengten Dateien (.htaccess, page.restrictor.inc)
der Ordner und die Datei page.restrictor.php, muss vom System beschreibbar sein, also chmod entsprechend setzen (0777)
editiere die mainfile.php wie folgt:

finde folgende Zeilen:

Code Auswählen

define('MX_IS_ADMIN', mxIsAdmin()); // Adminberechtigung initialisieren
define('MX_IS_USER' , mxIsUser()); // Userberechtigung  initialisieren

danach schreibst du folgende zusaetzliche Zeilen hinzu:

Code Auswählen

// restrictor von http://www.bot-trap.de/
if (((!MX_IS_ADMIN && !MX_IS_USER) || (MX_IS_ADMIN && isset($_GET['pres'])))  && file_exists('./restrictor/page.restrictor.php')) {
    chdir('./restrictor');
    include_once('./page.restrictor.php');
    chdir(dirname(__file__));
}

speicher die mainfile.php
zum testen rufst du (als Admin angemeldet) deine Seite mit folgenden Parametern auf: http://www.deineseite.tld/index.php?pres=check
Es sollten versch. Statusmeldungen erscheinen.

ZitatPage Restrictor v0.08o - Signatures 200612221201 - Last modified: 22.12.2006 14:23:11.
does file_get_contents(URL) work: YES
is writable: YES
local: /index.php?pres=check
uri: /modules.php
server: www.deineseite.tld

LogFile exists: YES, is writable: YES
Custom Extension exists: YES

Die Installation weicht etwas von der von bot-trap empfohlenen Methode ab, indem das bot-trap script nicht im web-root gespeichert wird. Ich finde es etwas praktikabler, die zusammengehörigen Dateien in einem Extra Ordner zu verwalten. So ist es auch möglich, ohne Änderung der eigentlichen .htaccess Datei, diesen Ordner per .htaccess zu schützen um die logfiles zu verstecken.
Weiterhin sparen wir einige resourcen, dadurch, dass das script bei eingeloggten Usern und Admins nicht ausgeführt wird. Ein Bot kann nicht als User/Admin eingeloggt sein...

In der Datei /restrictor/page.restrictor.inc ist im Moment nur die etwas angepasste Fehlerseite definiert, die dort beliebig angepasst werden kann. Hier zwischen, kann beliebiger HTML-Code eingefügt werden.

Code Auswählen

$forbiddenCustomMessage = <<<forbiddenCustomMessage

<!-- hier beliebiger HTML-Code... -->

forbiddenCustomMessage;

Wichtig ist, dass die Zeile forbiddenCustomMessage; nicht eingerückt werden darf!

Die Datei dient hauptsächlich für eigene Anpassungen des Scriptes, weiter Infos dazu findet ihr im bot-trap Forum.

[Dateien gelöscht durch Administrator]
Die gelöschten Dateien finden sich hier:
http://www.pragmamx.org/Forum-topic-24878.html

Oscar175 · 22 Dezember 2006, 19:24:40

Hallo Andi danke für die Anleitung habe alles so gemacht.Wenn ich mich dann als Admin anmelden möchte kommt:

Error: the theme-folder is missing!

Wenn ich mich zuerst als Admin anmelde ghet es aber sobald ich mich abmelde kommt das selbe.
Und dann habe ich:

Page Restrictor v0.08o - Signatures 200612221201 - Last modified: 22.12.2006 19:06:21.
does file_get_contents(URL) work: NO
is writable: YES
local: /index.php?pres=check
uri: /modules.php
server: www.ben.schnikemike.de

LogFile exists: NO
Custom Extension exists: YES

Andi · 22 Dezember 2006, 19:31:19

Hi

komisches Ding....

kannst mir mal nen FTP-Zugang zukommen lassen?
Habe im Moment keinen Plan was das sein könnte. Irgendwie klappt bei dir anscheinden der Ordnerwechsel per php nicht...

Oscar175 · 22 Dezember 2006, 19:33:56

Zugangsdaten sind raus

Andi · 22 Dezember 2006, 19:52:13

Oki, gelöst...

Dein Server wollte den Code in der mainfile so haben:

Code Auswählen

// restrictor von http://www.bot-trap.de/
if (((!MX_IS_ADMIN && !MX_IS_USER) || (MX_IS_ADMIN && isset($_GET['pres'])))  && file_exists('./restrictor/page.restrictor.php')) {
    chdir('./restrictor/');
    include_once('./page.restrictor.php');
    chdir('../');
}

Hmm, ist eigentlich auch einfacher, mal sehen, ob noch mehr User das Problem haben

Oscar175 · 22 Dezember 2006, 19:54:23

Hallo Andi vielen Dank für deine schnelle Hilfe.

Muss ich jetzt noch irgendetwas machen oder arbeitet das jetzt selber?

Andi · 22 Dezember 2006, 20:13:33

Hi

jop, kein Problem, hat mich ja aselbst interessiert und evtl. hilft es anderen Usern, die das gleiche Problem haben.

ZitatMuss ich jetzt noch irgendetwas machen oder arbeitet das jetzt selber?

Normalerweise brauchst du nichts machen, wenn die Statusmeldungen so wie gepostet ausfallen.

Ab und zu ein Update mit dem folgenden Parameter: http://www.DEINESEITE.de/index.php?pres=update
Und ganz wichtig: aktiv im bot-trap Forum beteiligen und die Neuerungen beobachten

Oscar175 · 22 Dezember 2006, 20:26:30

ZitatAb und zu ein Update mit dem folgenden Parameter: http://www.deineseite.de/index.php?pres=update
Und ganz wichtig: aktiv im bot-trap Forum beteiligen und die Neuerungen beobachten

OK werde ich machen.
LG Benjamin

jogi24 · 22 Dezember 2006, 20:42:17

hi

bei mir findet er das log-file nicht, mit beiden varianten versucht

Page Restrictor v0.08o - Signatures 200612221201 - Last modified: 22.12.2006 20:15:51.
does file_get_contents(URL) work: YES
is writable: YES
local: /index.php?pres=check
uri: /modules.php
server: nuke-theme.de

LogFile exists: NO
Custom Extension exists: YES

Andi · 22 Dezember 2006, 20:53:05

Hi

das logfile ist standardmässig nicht vorhanden, sondern wird vom Script erst angelegt.

Vermutlich hat das script im Ordner /restrictor/ keine Schreibrechte (chmod) um die Datei zu erstellen.

Entweder den Ordner auf chmod 777 stellen und nochmal probieren, oder im Ordner mal eine leere Datei page.restrictor.log anlegen und die mit den passenden chmods versehen...

jogi24 · 22 Dezember 2006, 20:59:01

hi
@ Andi

wenn du nicht so weit weg wohnen würdest, würde ich kommen und dich knuddeln

es funzt

Spambots, Emailsammler und URL-Hijacker, was dagegen tun?

jubilee

anauko