Adım adım robots.txt oluşturma

Robots.txt nedir, nasıl kullanılır, kullanımın yararları nelerdir