Joomla! kurulumunda standart olarak karşımıza gelen ve ana dizinde yer alan, küçük ama bir o kadar da etkili olan bir dosyadan bahsetmek istiyorum.
Dosyamızın adı Robots.txt dosyası. Bu dosya her ne kadar küçük gibi görünse de, önemli ve etkili olduğunu da söylemek mümkün. Peki Joomla! kurulum paketi içerisinde gelen Robots.txt dosyası nedir? ve ne işe yarar, Robots.txt dosyası ile neler yapabiliriz bu konular hakkında bilgiler aktarmaya çalışacağım.
Robots.txt Dosyası Nedir? Ne İşe Yarar
Robots.txt dosyası sitenizin kök dizini'nde (ana dizin) bulunur, arama motorlarının sitenizde erişmesini istediğiniz yada istemediğiniz yerleri arama motoruna gösteren dosyadır.
Arama motorları web sitenizi incelediklerinde, ilk olarak kök dizinde bulunan Robots.txt dosyasındaki komutları inceler. Böylelikle hangi alanların taranıp-taranmayacağı belirlenir.
Robots.txt Dosyası Gerekli mi?
Sitenizdeki herşeyin arama motorları tarafından taranıp indexlenmesini istiyorsanız, Robots.txt dosyası gerekli değildir. Tabi bu durum pek tavsiye edilmediği gibi, olumsuz yönleri de olabilir.
Bu durum karşısında web sitenize ait bir Robots.txt dosyası'nın olması sizin için bir avantajdır, böylelikle arama motorları'nın görmesini ve indexlemesini istemediğiniz alanları yönetebilirsiniz.
Robots.txt Dosyası Ne İçin Kullanılır?
- Sitenizdeki sayfaların arama motorları tarafından görünmesini istiyorsanız.
- Sitenizdeki bazı sayfaların arama motorları tarafından görünmesini istemiyorsanız.
- Sitenizde bulunan resimlerin Google'un resimleri indexleme yapan arama motoru tarafından görünmesini istiyorsanız, yada istemiyorsanız.
- Arama motorları'nın sitenizde bulunan bazı sayfa, içerik veya resimleri taramasını istemiyorsanız.
Web Sitemde Robots.txt Dosyası Var mı?
Sitenizde Robots.txt dosyası olup, olmadığını tarayıcınızın adres satırına siteadiniz.com/robots.txt yazarak öğrenebilirsiniz. Şayet sitenizde bir Robots.txt dosyası var ise karşınıza dosya içinde yer alan bilgiler gelir, sitenizde Robots.txt dosyası yok ise karşınıza bir hata sayfası gelir.
Robots.txt Dosyası Nasıl Oluşturabilirim?
Sitenizde şayet bir Robots.txt dosyası yoksa, Şuradaki yönergeleri takip ederek bir Robots.txt dosyası oluşturabilirsiniz.
NOT: Bir sonraki yazımızda sizlere, Robots.txt dosyasında örnek kod kullanımları hakkında bilgiler aktaracağım.