hi,
irgendwie sind die besucher von meiner Seite die vom Suchmaschinen kommen, immer über die suchwörter vom index.php auf meine seite.
Bei http referrer sehe icj ja über welche suchwörter von welchem Suchmaschine die User meine seite finden, da habe ich gemerkt, dass die inhalt der Module nicht gefunden wird. Und da habe ich die frage, ob das mit der robots.txt und ultramode.txt zutun hat?
Bitte um euer Hilfe...
Hallo !
Mit der robots.txt
Dort können die Suchroboter/spider angewiesen werden bestimmte
Bereiche nicht zu berücksichtigen (sofern der Spider das unterstützt).
MfG
jubilee
Danke für den Antwort.
Bei mir sieht der robots.txt so aus ;
User-agent: *
Disallow: /admin
Disallow: /blocks
Disallow: /download
Disallow: /flash
Disallow: /images
Disallow: /includes
Disallow: /language
Disallow: /modules
Disallow: /themes
index, follow
Also heisst das, dass die modules nicht in den such mschinen gefunden wird?
Und kann man z.B. Contend verstecken von suchmaschinen? Oder Sections?
mit dem Disallow wird erst mal verhindert, dass die "nackten" php Dateien in den Verzeichnissen nicht durchsucht werden.
Links auf der Hauptseite dürfen die Suchmachinen eigentlich folgen...
also z.B. modules.php?name=News
Wie sich die Spider genau verhalten, weiß ich aber auch nicht. Bei mir zeigen die Suchmaschinen auch nur Inhalte der Startseite an.
Hier ist eine ganz gute Beschreibung zur robots.txt:
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html
[Editiert am 6/1/2004 von Martin]
Danke Martin für die Antwort.
Jetzt weisse ich mehr :D
Aber immernoch gibt es einige Punkte, die ich mir nicht sicher bun.
Also wenn ich die module für die robots freischalten will dann soll ich den Zeile Disallow: /modules komlett rauslöschen?
Oder kann man das auch so ändern dass nur einige module freigeschaltet wird? z.B.
Disallow: /modules/Sections/
Danke im voraus......................
hi!
so jetzt hätte ich eine kleine frage nebenbei weil das hier gut hinpasst.
was ist wenn man das rebots.txt file weglöscht? (ich habs gleich bei der inst. gelöscht gehabt.)
danke
Dann donnert der BOT durch alle Verzeichnisse und trägt auch alles ein. Du wirst dann irgendwann deine einzelnen Bilder in dern Suchmaschienen finden, die Adminseiten etc.
Meiner Meinung nach das gruseligste was gibt. Wenn ich was suche will ich nicht von hunderten Treffern einer Seite erschlagen werden wo ich mich immer in Unterbereichen befinde.
Man kann die Suchmaschienen auch anders lenken das einzutragen was man will. Dazu könnte ich hier einen Roman schreiben wie das geht....
:BD:
Zitatmit dem Disallow wird erst mal verhindert, dass die "nackten" php Dateien in den Verzeichnissen nicht durchsucht werden.
Links auf der Hauptseite dürfen die Suchmachinen eigentlich folgen...
also z.B. modules.php?name=News
Wie sich die Spider genau verhalten, weiß ich aber auch nicht. Bei mir zeigen die Suchmaschinen auch nur Inhalte der Startseite an.
Hier ist eine ganz gute Beschreibung zur robots.txt:
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html
[Editiert am 6/1/2004 von Martin]
Der bot von Goggle spydert auch meine php-Seiten, selbst das Forum.
z.B. <a href="http://www.google.de/search?q=angelina+koala&ie=UTF-8&oe=UTF-8&hl=de&btnG=Google+Suche&meta=lr%3Dlang_de">Suchworte Angelina koala</a>
Es hat zwar ziemlch lange gedauert, aber inzwischen kommt "goggle" immer wieder (so 5-6 Mal die Woche ) neugierig vorbei und spydert meine Seiten - bis auf die Bereiche, die ich in der robots.txt disallowed habe.
Wer sich dafür interessiert, der findet hier sicherlich einige interessante Anregungen http://www.suchmaschinentricks.de/forum/thread.php?thread=6719&forum=1
ZitatEs hat zwar ziemlch lange gedauert, aber inzwischen kommt "goggle" immer wieder (so 5-6 Mal die Woche ) neugierig vorbei und spydert meine Seiten - bis auf die Bereiche, die ich in der robots.txt disallowed habe.
Woran erkennst Du das, dass google deine Seiten besucht?
ZitatZitatEs hat zwar ziemlch lange gedauert, aber inzwischen kommt "goggle" immer wieder (so 5-6 Mal die Woche ) neugierig vorbei und spydert meine Seiten - bis auf die Bereiche, die ich in der robots.txt disallowed habe.
Woran erkennst Du das, dass google deine Seiten besucht?
Ich habe mich vor einiger Zeit dafür interessiert, welche Browserkennungen denn so möglich sind und habe sie eifrig durch Auswertung der Logfiles gesammelt. So kommen Einträge wie beispielsweise
Web Crawler - Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Web Crawler - fastbot crawler 1.0 beta (http://www.fastbot.de)
http://www.alltheweb.com/help/webmaster/crawler)
Web Crawler - fastbot crawler 1.0 beta (http://www.fastbot.de)
u.a. vor.
Das es sich zweifelsfrei um bots handelt, konnte ich leicht herausfinden, in dem ich nachschaute, welche Suchbegriffe über goggle gefunden wurden, allerdings dauerte es meist einige Stunden, bis die Eintragungen dann auch erfolgten.
Die Analyse der Logfiles geben Dir Auskunft über Browser, platforms, spyders und anderes. Die bekommst Du von Deinem Provider. Durch Einsatz von Logfile-Analyzers wie z.B. webalizer, den gibts auf
http://www.mrunix.net/webalizer/ gratis
kannst Du Dir das Leben einfacher machen.
Viel Spaß dabei
:yltype:
ps falls Du mehr wissen willst, sende mir doch einfach eine PM
Danke für den Tipp.
Nochmals die "robots.txt"
wer sich mit den Parametern beschäftigen möchte findet hier etwas darüber
http://www.robotstxt.org/wc/norobots.html
kleiner Auszug eines Besuches des crawlers von goggle ;)
crawler14.googlebot.com 2004-01-13 18:37:37
http://www.digifoto4you.de/modules.php?name=News&pagenum=13
crawler11.googlebot.com 2004-01-13 17:13:15
http://www.digifoto4you.de//modules.php?name=Amazon
crawler14.googlebot.com 2004-01-13 17:06:46
http://www.digifoto4you.de/modules.php?name=News&new_topic=2
crawler13.googlebot.com 2004-01-13 16:54:03
http://www.digifoto4you.de/modules.php?name=News&pagenum=11
crawler15.googlebot.com 2004-01-13 15:51:53
http://www.digifoto4you.de/modules.php?name=News&new_topic=3
crawler10.googlebot.com 2004-01-13 15:56:22
http://www.digifoto4you.de/modules.php?name=News&new_topic=1
crawler10.googlebot.com 2004-01-13 15:03:33
http://www.digifoto4you.de/modules.php?name=Stories_Archive
crawler11.googlebot.com 2004-01-13 09:03:30
http://www.digifoto4you.de/modules.php?name=Splatt_Forums
insgesamt besuchte crawler meine Seiten im Laufe des Tages gestern 56 mal
:yltype: