Robots.txt 'bir değişiklik

Begonnen von Baran, 02 Mai 2009, 16:25:16

⏪ vorheriges - nächstes ⏩

0 Mitglieder und 3 Gäste betrachten dieses Thema.

Baran

merhaba arkadaşlar :)

pragmamx'ın orjinal dosyasındaki robots.txt dosyası şu şekilde

User-agent: *
Disallow: /admin
Disallow: /albums/
Disallow: /blocks/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /language/
Disallow: /modules/
Disallow: /spaw/
Disallow: /themes/
Disallow: /upgrade/
Disallow: /themecache/
Disallow: /dynadata/
Disallow: /setup/


yanlış bilmiyorsam bu demek oluyorki google gibi arama botları buralara erişim sağlıyamıyor

bende Disallow: /albums/ bunu sildim robots.txt dosyasından ve ana dizine gönderdim...

bir sorun oluşturur mu bu ?

özelliklede güvenlik açısından

saygılar

ahura

bir sorun oluşturacağını zannetmiyorum ki botlar zaten bir sayfa bulamaycaklar orda.

Baran

evet sayfa bulamayacaklar :)

galerideki resimleri index'liyecekler, bunun için sormuştum zaten  ;)

ahura

bence resimleri de indexleyemeyecekler çunku resimleri direk ftp den okuyamazlar. resimleri resim galerinden kaydederler.

Baran

Zitat von: ahura am 03 Mai 2009, 17:03:29
bence resimleri de indexleyemeyecekler çunku resimleri direk ftp den okuyamazlar. resimleri resim galerinden kaydederler.

şansımızı denıyecez artık :)

Ciwan_

peki bu sekilde aramotorlarina linklerin dusmesi mumkun gibi gorunmuyor sanirim sadece google ve belirli arama motorlarinin gelebilmesini saglamak icin ne yapilabilir? degisiklik yapilip eklenebilirmi ama sadece google yahoo bu tarz zararsiz botlara tek acik olacak sekilde hepsine alow desek spmalarla ugrasilmaz eklense sevinirim saygilar

Baran

Zitat von: Ciwan_ am 23 Mai 2009, 03:53:50
peki bu sekilde aramotorlarina linklerin dusmesi mumkun gibi gorunmuyor sanirim sadece google ve belirli arama motorlarinin gelebilmesini saglamak icin ne yapilabilir? degisiklik yapilip eklenebilirmi ama sadece google yahoo bu tarz zararsiz botlara tek acik olacak sekilde hepsine alow desek spmalarla ugrasilmaz eklense sevinirim saygilar

merhaba zaten bu şekliyle google yahoo gibi arama motorları sitenizi indexliyor !!

siz indexlenmesini istemediğiniz klasörünü robots.txt içine aynı şekilde yazarsanız, botlar o klasörü indexliyemez.

dikkat ederseniz mevcut robots.txt içerisinde media klasörü bulunmamaktadır, çünkü o klasör haber veya diğer şeyler için kullandıgın resimler içindir, nitekim google bu klasörü indexliyor.