Robots.txt Nedir? Robots.txt Dosyası Oluşturma
Robots.txt arama motorlarına site indexlenmesi ile ilgili bilgi veren kitapçıktır. Sitenin ana dizininde bulunması gerekir. Robots.txt'nin görevi arama motorlarına sitemizde nereleri indexleyeceğini, nereleri indexlemeyeceğiniz bildirmektir. Botlar sitemize ilk girdikleri zaman sitemizde robots.txt dosyasını kontrol edecektir, robots.txt dosyası var ise onun komutlarına uygun olarak sitemizi indexleyecektir, yok ise tüm içeriği indexler.
Sitemizde bulunan yönetim bölgesinin ve sitemizde bulunan önemli dosya, belgeleri v.s arama motorlarının indexlememesini isteyebiliriz. İşte burada robot.txt dosyası devreye girecektir. Aşağıda komutlar ile inceleyelim.
User-Agent: *
Disallow: /Admin/
Disallow: /Dosyalar/
Yukarıda ki robot.txt dosyası komutunda admin ve dosyalar klasörünün indexlenmeyeceğini arama motorunu bildirmiş olduk. Böylece botlar sitemize girdiği zaman ilk bu dosyayı görecek, Admin ve Dosyalar klasörünü indexlemeyecektir