Suchmaschinen Erkennen nur dass index.php

Begonnen von zazaeren, 05 Januar 2004, 22:05:49

⏪ vorheriges - nächstes ⏩

0 Mitglieder und 1 Gast betrachten dieses Thema.

Drucken
Nach unten Seiten1
Benutzer-Aktionen

zazaeren

05 Januar 2004, 22:05:49
hi,

irgendwie sind die besucher von meiner Seite die vom Suchmaschinen kommen, immer über die suchwörter vom index.php auf meine seite.

Bei http referrer sehe icj ja über welche suchwörter von welchem Suchmaschine die User meine seite finden, da habe ich gemerkt, dass die inhalt der Module nicht gefunden wird. Und da habe ich die frage, ob das mit der robots.txt und ultramode.txt zutun hat?

Bitte um euer Hilfe...

jubilee

#1
06 Januar 2004, 12:44:29
Hallo !
Mit der robots.txt
Dort können die Suchroboter/spider angewiesen werden bestimmte
Bereiche nicht zu berücksichtigen (sofern der Spider das unterstützt).
MfG
jubilee

zazaeren

#2
06 Januar 2004, 14:06:38
Danke für den Antwort.

Bei mir sieht der robots.txt so aus ;

User-agent: *
Disallow: /admin
Disallow: /blocks
Disallow: /download
Disallow: /flash
Disallow: /images
Disallow: /includes
Disallow: /language
Disallow: /modules
Disallow: /themes
index, follow

Also heisst das, dass die modules nicht in den such mschinen gefunden wird?
Und kann man z.B. Contend verstecken von suchmaschinen? Oder Sections?

Martin

#3
06 Januar 2004, 16:39:46
mit dem Disallow wird erst mal verhindert, dass die "nackten" php Dateien in den Verzeichnissen nicht durchsucht werden.

Links auf der Hauptseite dürfen die Suchmachinen eigentlich folgen...
also z.B. modules.php?name=News

Wie sich die Spider genau verhalten, weiß ich aber auch nicht. Bei mir zeigen die Suchmaschinen auch nur Inhalte der Startseite an.

Hier ist eine ganz gute Beschreibung zur robots.txt:
 http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

[Editiert am 6/1/2004 von Martin]

zazaeren

#4
06 Januar 2004, 23:02:35
Danke Martin für die Antwort.
Jetzt weisse ich mehr  :D

Aber immernoch gibt es einige Punkte, die ich mir nicht sicher bun.

Also wenn ich die module für die robots freischalten will dann soll ich den Zeile Disallow: /modules komlett rauslöschen?

Oder kann man das auch so ändern dass nur einige module freigeschaltet wird? z.B.

Disallow: /modules/Sections/

Danke im voraus......................

munzur

#5
07 Januar 2004, 08:51:15
hi!

so jetzt hätte ich eine kleine frage nebenbei weil das hier gut hinpasst.

 was ist wenn man das rebots.txt file weglöscht? (ich habs gleich bei der inst. gelöscht gehabt.)

danke
"Debug-Mode" einschalten.
"SQL-Fehler anzeigen" einschalten
und evt. auftauchende Fehlermeldungen posten .

DarkBoy

#6
07 Januar 2004, 10:02:49
Dann donnert der BOT durch alle Verzeichnisse und trägt auch alles ein. Du wirst dann irgendwann deine einzelnen Bilder in dern Suchmaschienen finden, die Adminseiten etc.
Meiner Meinung nach das gruseligste was gibt. Wenn ich was suche will ich nicht von hunderten Treffern einer Seite erschlagen werden wo ich mich immer in Unterbereichen befinde.
Man kann die Suchmaschienen auch anders lenken das einzutragen was man will. Dazu könnte ich hier einen Roman schreiben wie das geht....

munzur

#7
07 Januar 2004, 19:32:37
 :BD:  
"Debug-Mode" einschalten.
"SQL-Fehler anzeigen" einschalten
und evt. auftauchende Fehlermeldungen posten .

Chamaeleon

#8
09 Januar 2004, 22:02:26
Zitatmit dem Disallow wird erst mal verhindert, dass die "nackten" php Dateien in den Verzeichnissen nicht durchsucht werden.

Links auf der Hauptseite dürfen die Suchmachinen eigentlich folgen...
also z.B. modules.php?name=News

Wie sich die Spider genau verhalten, weiß ich aber auch nicht. Bei mir zeigen die Suchmaschinen auch nur Inhalte der Startseite an.

Hier ist eine ganz gute Beschreibung zur robots.txt:
 http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

[Editiert am 6/1/2004 von Martin]


Der bot von Goggle spydert auch meine php-Seiten, selbst das Forum.
z.B. <a href="http://www.google.de/search?q=angelina+koala&ie=UTF-8&oe=UTF-8&hl=de&btnG=Google+Suche&meta=lr%3Dlang_de">Suchworte Angelina koala</a>

Chamaeleon

#9
09 Januar 2004, 22:10:28
Es hat zwar ziemlch lange gedauert, aber inzwischen kommt "goggle" immer wieder (so 5-6 Mal die Woche ) neugierig vorbei und spydert meine Seiten - bis auf die Bereiche, die ich in der robots.txt disallowed habe.

Chamaeleon

#10
09 Januar 2004, 22:20:38
Wer sich dafür interessiert, der findet hier sicherlich einige interessante Anregungen    http://www.suchmaschinentricks.de/forum/thread.php?thread=6719&forum=1

Distl

#11
09 Januar 2004, 23:18:34
ZitatEs hat zwar ziemlch lange gedauert, aber inzwischen kommt "goggle" immer wieder (so 5-6 Mal die Woche ) neugierig vorbei und spydert meine Seiten - bis auf die Bereiche, die ich in der robots.txt disallowed habe.  

Woran erkennst Du das, dass google deine Seiten besucht?

Chamaeleon

#12
10 Januar 2004, 20:42:53
Zitat
ZitatEs hat zwar ziemlch lange gedauert, aber inzwischen kommt "goggle" immer wieder (so 5-6 Mal die Woche ) neugierig vorbei und spydert meine Seiten - bis auf die Bereiche, die ich in der robots.txt disallowed habe.  

Woran erkennst Du das, dass google deine Seiten besucht?



Ich habe mich vor einiger Zeit dafür interessiert, welche Browserkennungen denn so möglich sind und habe sie eifrig durch Auswertung der Logfiles gesammelt. So kommen Einträge  wie beispielsweise

Web Crawler - Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Web Crawler - fastbot crawler 1.0 beta (http://www.fastbot.de)
http://www.alltheweb.com/help/webmaster/crawler)
Web Crawler - fastbot crawler 1.0 beta (http://www.fastbot.de)

u.a. vor.
Das es sich zweifelsfrei um bots handelt, konnte ich leicht herausfinden, in dem ich nachschaute, welche Suchbegriffe über goggle gefunden wurden, allerdings dauerte es meist einige Stunden, bis die Eintragungen dann auch erfolgten.

Die Analyse der Logfiles geben Dir Auskunft über Browser, platforms, spyders und anderes. Die bekommst Du von Deinem Provider. Durch Einsatz von Logfile-Analyzers  wie z.B. webalizer, den gibts auf

 http://www.mrunix.net/webalizer/      gratis

kannst Du Dir das Leben einfacher machen.

Viel Spaß dabei

 :yltype:  

ps falls Du mehr wissen willst, sende mir doch einfach eine PM

Distl

#13
11 Januar 2004, 11:02:02
Danke für den Tipp.

Chamaeleon

#14
12 Januar 2004, 18:31:46
Nochmals die "robots.txt"

wer sich mit den Parametern beschäftigen möchte findet hier etwas darüber
 http://www.robotstxt.org/wc/norobots.html
Drucken
Nach oben Seiten1
Benutzer-Aktionen