Daha iyi anlaşılması için hikaye şeklinde anlatacağım, bu sayede adım adım aklınızda hiçbir soru kalmadan siz de robots.txt oluşturabilirsiniz.
Örnek web sitemiz http://www.sertacyarbas.com olsun.
Web sitemizin içinde "kullanici" diye bir klasör bulunsun,
Kullanıcı klasörü içinde "moderator" diye bir klasör ve giris.aspx diye bir dosyamız bulunsun.
Yapmak istediğimiz de şu olsun. Kullanıcı klasörü içinde giris.aspx dosyası tüm arama motorları tarafından gösterilsin. Fakat "moderator" klasörü arama motorları tarafından indexlenmesin.
Adım 1: Yeni bir metin belgesi açıyoruz.
Adım 2: Metin belgemize aşağıdaki kodları yerleştiriyoruz.
User-agent: * Disallow: /kullanici/moderator/ Allow: /kullanici/giris.aspx
Dosyayı "robots.txt"(Tırnak işaretleri olmadan) ismini vererek kaydediyoruz ve kopyalayarak sitemizin ana dizinine yapıştırıyoruz. (index.html veya default.aspx veya index.php hangisini kullanıyorsanız, o dosyanın bulunduğu yere yapıştıracaksınız.)
Yani www.websiteniz.com/robots.txt şeklinde olmalıdır.
Önemli Not! Bir üstteki gibi ana dizinde olmayan robots.txt dosyaları, arama motorları tarafından dikkate alınmayacaktır.
Hepsi bu kadar. Sonraki makalede görüşmek üzere :)
KAYNAKLAR
