hallo,
wofür ist genau die robots.txt datei ?
z.b. bei google adsense steht das man sie entfernen soll ???
Ich glaube die dient dazu, bestimmte Verzeichnisse für die Suchmaschinen zu sperren. :)
Und bei GoogleAdSense hab ich gelesen, dass man in die robots was hinzufügen soll. Und zwar dieses:
ZitatUser-agent: Mediapartners-Google*
Löschen soll man die?
Gruß von
Zitat von: webweib in 21 Januar 2005, 15:49:14
Ich glaube die dient dazu, bestimmte Verzeichnisse für die Suchmaschinen zu sperren. :)
Und bei GoogleAdSense hab ich gelesen, dass man in die robots was hinzufügen soll. Und zwar dieses:
ZitatUser-agent: Mediapartners-Google*
Löschen soll man die?
Gruß von
Hallo Gemeinde..!
Aaalsoo:
IMHO sollte man in der robots:* alles(!) was nicht verheimlicht werden soll erlauben!
Seitdem ich das gemacht hab, sind meine beiden MX - Seiten bei vielen Google - Suchanfragen in allererster Reihe..
bzw auf der ersten Ergebnisseite bei Google! ;) (Beispiel: "tsunami video" , "klingeltöne adolf hitler" "Modekollektion von Stars" [Planetmensch]).. Ebenso gehen seither zig Treffer über die Google-Bildersuche ein! (zumindest mit MyEGallery!)
Den "User-agent: Mediapartners-Google" sollte man unbedingt ERLAUBEN! Sonst findet der MediaBot keine relevanten Daten für die Auswahl der Anzeigen!
Hallo Helmi,
mach das doch mal konkret. Wie sieht denn dann die robots.txt aus?
Gruß Jochen
Jupps würde mich jetzt auch mal interessieren
Moin,
kein robot hat etwas im admin Verzeichniss etwas zu suchen ;)
User-agent: *
Disallow: /admin/
Disallow: /includes/
Alles weitere kann man z.B. hier (http://www.developernetwork.de/meta/zugriff_verweigern.html) nachlesen.
Joachim
Hallo!
Hier von Adsense:
Wie kann ich dem Google-Crawler Zugriff gewähren?
Wenn Sie unserem Crawler Zugriff auf Ihre Seiten gewähren möchten, können Sie dies tun, ohne anderen Bots das Crawlen Ihrer Website zu gestatten. Fügen Sie einfach die beiden folgenden Textzeilen oben in der Datei robots.txt hinzu:
User-agent: Mediapartners-Google*
Disallow:
Wenn Sie diese Änderung vornehmen, kann unser Crawler den Content Ihrer Website durchsuchen und wir können die relevantesten Google-Anzeigen für diesen Content schalten.
Tip: http://www.topsubmit.de/dienste/webseiten-optimierung/
L.g
Blöde Frage meinerseits:
Ich habe, bevor man das vkpMX betritt, eine HTML Startseite.
Also im Webroot befindet sich diese Startseite (und auch andere Ordner) und von dieser Startseite aus kommt man dann in den Ordner Community wo sich dann das vkpMX befindet. Darin befindet sich dann ebenso diese robots.txt.
Lohnt es sich nun auch eine weitere robots.txt in das Webroot zu stellen wo sich die Startseite befindet?
Ich wollte nur nochmal nachfragen ob das so möglich ist wie ich es oben beschrieben hatte :).
Viele Grüße
Hi!
Soweit ich weiß sollte nur eine robots.txt vorhanden sein. Aber ob die nun auf dem root oder im vkp-Unterordner liegen soll weiß ich leider auch net...Würde mich auch mal interessieren!