Hi, kann man dem Yahoo Bot bissel in Grenzenweisen... Er ist nämlich bei eingeschaltetem mod_rewirte, fasst konstant auf der Seite...
Das Problem hab ich mit dem Bot von Inktomi
Zitat von: Musicman75 am 23 April 2006, 00:43:39
Das Problem hab ich mit dem Bot von Inktomi
Inktomi = Yahoo ;)
Hi :)
http://www.phpbb.de/viewtopic.php?t=54059
http://www.rootforum.de/forum/viewtopic.php?t=20323&highlight=aussperren
Aber denkt dran, irgendwann fliegt die Seite dann evtl. bei etlichen Suchmaschinen aus dem Register...
Laut den Beiträgen geht Yahoo nicht als "böser" Bot durch.... Hm hab mal mod_rewirte aus gemacht damit ist vor dem Teil auch ruhe ;)
Hi @ll,
also bei mir ist der inktomi ca alle 2 std mal da und stoert mich eigentlich recht wenig um deshalb das mod_rewrite auszuschalten ....
ich finde nur immer seine links lustig die er aufzurufen versucht .... und frage mich eigentlich nur wo er die her hat ...
http://www.cnfsz.de/?Hallo-Ich-bin-PragmaMX=63b12a65ad178db3bb772f5e6ca3def1&Hallo-Ich-bin-PragmaMX=63b12a65ad178db3bb772f5e6ca3def1
Naja bei mir ist er eigentlich non stop da und vorallem sucht er URL´s die es garnicht mehr gibt!
Zitat von: NeMeSiSX2LC am 23 April 2006, 12:58:24
Naja bei mir ist er eigentlich non stop da und vorallem sucht er URL´s die es garnicht mehr gibt!
is ja eigentlich auch seine Aufgabe die seitenindizierungen auf den aktuellen stand zu halten ich denke mal wenn er damit fertig is kommt er auch nicht mehr so oft ... im uebrigen macht google das auch ... zumindest bei mir ...
wenn ich alleine an die Aufrufe zum DL vom vkp5.5 denke die koennten langsam mal aus den indizierungen verschwinden ... ich habe in meinen Referers jeden Monat 150 davon .. werde wohl noch nen wenig mit modrewrite spielen muessen ...
Naja ok dann lass ich es an und mal sehen ob er irgendwann fertig wird... Google ist komischerweise bei mir garnicht so oft da..
Zitat von: NeMeSiSX2LC am 23 April 2006, 14:05:37
Naja ok dann lass ich es an und mal sehen ob er irgendwann fertig wird
Darauf hatte ich auch spekuliert, aber es wurde immer schlimmer (bis zu 500 Zugriffe/Tag) mit Inktomi.
Bei mir hat er sich in der Coppermine Galerie verbissen, teilweise mit 5 Anfragen gleichzeitig.
Ich hab ihn jetzt in der htaccess gesperrt und erlaube ihm alle 14 Tage für zwei Tage zu sammeln (dann schafft er die Alben anscheinend nicht)
wie haste das gemacht ?
@FrankySZ:
Zitat
ich finde nur immer seine links lustig die er aufzurufen versucht .... und frage mich eigentlich nur wo er die her hat ...
Das ist der Sessioncookie bzw. die SessionID des Yahoo Bots :D
Hallo-Ich-bin-PragmaMX
Zitat von: NeMeSiSX2LC am 23 April 2006, 15:26:00
wie haste das gemacht ?
ich hab als Basis die htaccess aus dem mod_rewrite Addon
http://www.pragmamx.org/modules.php?name=Downloads&d_op=getit&lid=446 (http://www.pragmamx.org/modules.php?name=Downloads&d_op=getit&lid=446) ( \more\weitere.... )
mit RefererSpamschutz - Einträgen genommen und immer schön mit allen ungewollten Hosts erweitert, unter anderem die ganzen Gästebuch-Spammer mit jp / kr / ru /dyn - Adressen
- und eben .inktomisearch.com auch
Zitat von: BowlingX am 23 April 2006, 19:01:54
Das ist der Sessioncookie bzw. die SessionID des Yahoo Bots :D
Hallo-Ich-bin-PragmaMX
nett ;D hatte ich heute das erste mal dabei ... ich meine das "Hallo-Ich-bin-PragmaMX"
ist das irgendwo im system drin oder woher kommt das?
Zitat von: Dukewh am 23 April 2006, 21:28:53
ich hab als Basis die htaccess aus dem mod_rewrite Addon
http://www.pragmamx.org/modules.php?name=Downloads&d_op=getit&lid=446 (http://www.pragmamx.org/modules.php?name=Downloads&d_op=getit&lid=446) ( \more\weitere.... )
mit RefererSpamschutz - Einträgen genommen und immer schön mit allen ungewollten Hosts erweitert, unter anderem die ganzen Gästebuch-Spammer mit jp / kr / ru /dyn - Adressen
- und eben .inktomisearch.com auch
koenteste deine .htaccess mal anhaengen, waere sehr interessant wegen der Guestbookspams .... natuerlich nur wenns nicht geheim is ;)
Zitat von: FrankySZ am 23 April 2006, 21:37:51
koenteste deine .htaccess mal anhaengen, waere sehr interessant wegen der Guestbookspams .... natuerlich nur wenns nicht geheim is ;)
klar ist die geheim! Ich hänge sie hier an, aber nur du darfst sie anschauen ;) ;)
[gelöscht durch Administrator]
supi Danke ;D ich sags auch keinem weiter :D
also die htaccess hat bei mir bei inktomi.search nicht gegriffen, mittlerweole musste ich den Server vom Netz nahmen weil die mir das dingen lahmgelegt haben :-( ne andre möglichkeit die auszusperren habe ich leider auch nicht gefunden
hier mal ne gute seite, am besten funktioniert bei den suchbots immer noch mit der robots.txt
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html
Ist sehr gut erklärt.