Joomla! Haberleri

Robots.txt Örnek Kod Kullanımları

Kullanıcı Oyu: 0 / 5

Yıldız etkin değilYıldız etkin değilYıldız etkin değilYıldız etkin değilYıldız etkin değil
 

Joomla! ile ilgili bilgiler kapsamında bir önceki yazımızda, Robots.txt dosyası'ndan sizlere kısaca bahsetmiş ve bir takım bilgileri aktarmıştım.

Bugün ise sizlere Robots.txt dosyasında örnek kod kullanımları nasıl olur bundan bahsedip, kodların ne anlama geldiğini aktarmaya çalışacağım. Robots.txt dosyasında hangi kodları kullanmanız gerektiğini bilmiyorsanız, bu konu da rakip sitelerin kodlarını da inceleyebilirsiniz.

Robots.txt Dosyasında Örnek Kod Kullanımları Nasıl Olmalı?
1: Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; " * " yıldız işareti istisnasız tüm robotların indeksleme yapabileceğini gösterir.
User-agent: *
Disallow:

2: Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek.
User-agent: *
Disallow: /

3: Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli.
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

4: İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli.
User-agent: BadBot # 'BadBot' kelimesi ilgili botun adı ile değiştirilir.
Disallow: /private/

5: Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.
User-agent: *
Disallow: /directory/file.html

6: a harfi ile başlayan içerikleri engelleme.
User-agent: *
Disallow: /a
#Bu kullanımda siteadi.com/a içeriğinin yanısıra a harfi ile başlayan siteadi.com/about içeriği de engellenmiş olur. Bu yüzden engellemeyi kullanırken lütfen dikkatli olalım.

7: Google robotları tarama yapabilir.
User-agent: Googlebot

8: Google'un resim indexleme robotu'nun resimleri indexlememesine örnek.
User-agent: Googlebot-Image
Disallow: /images/

9:  Birden fazla klasörün taranmasını istemiyorsak şu komutu kullanabiliriz.
User-agent: *
Disallow: /klasör1/
Disallow: /klasör2/

Disallow komutu indexleme yapılmayacak alanları belirtir, bunun yanı sıra Allow komutu ise indexleme yapılacak alanlar da kullanılır. Allow komutuna birkaç örnek verelim hemen...

1: Robotların site üzerindeki her şeyi taramasına izin verilen komut.
User-agent: *
Allow: /

2: Belirli bir klasörün taranmasını istiyorsak örnek.
User-agent: *
Allow: / klasör1/

3: Sitemizdeki sadece bir alt sayfanın taranmasını istiyorsak.
User-agent: *
Disallow: /eklentiler/
Allow: /eklentiler/joomla-bilesen/

NOT: Yukarıda örneklerini vermiş olduğumuz kod kullanımları, kaynak olarak support.google.com'dan alınmıştır. Dilerseniz daha fazla araştırma yaparak farklı kodlar da kullanmanız mümkün.