Robot.txt Nasıl Olmalıdır ? Doğru Robot.txt Kullanımı

24 Ocak 2019
SEO

Robots.txt kısa anlamı ile bir dosya türüdür. Bu, çeşitli arama motorlarının sitenizde hangi dosyaların dizine eklemesi gerektiğini bildirmek için çeşitli sitelerde bulunan metin tabanlı bir dosyadır. Sitenize erişebilecek olan botlar site haritasında hangi bölümü okuyacağını veya hangi bölümü okumayacağını robot.txt dosyası sayesinde belirler. Bilinen tüm arama motorları, belirli sitelerin içeriğini belirli botlarla doğrular ve bunu yaparak sitenizi arama motorlarında dizine ekler.

Bu dizine eklemenin temel amacı, basit söylersek hakkınızda bilgi toplamaktır. Diğer bir deyişle, sitenizin nelere sahip olduğunu bilmek ve kullanıcının bir talebine dayanarak sitenizi kullanıcıya göstermesidir. Örneğin, mobil cihazlarla ilgili bir siteniz varsa, arama motoru siteyi dizine eklerken mobil cihazlara bağlı olduğunu görecek ve doğru anahtar kelimeler yazılmışsa, siteniz kullanıcıların karşısına çıkacaktır.

Robots.txt Dosyasının Doğru Kullanımı:

txt dosyasının hazırlanması sırasında birçok sorunu göz önünde bulundurmanız gerekir;
txt dosyası siteye (public folder klasörüne) eklenmelidir;
txt dosyası her zaman site URL ile format olarak benzer olmalıdır.

Her sitede Robots.txt dosyasının olması zorunludur. Ek olarak URL standartı korunmalıdır.

Robots.txt dosyasını oluşturmak kolay bir süreçtir. Bot tarafından dizine alınmasını istemediğiniz bir sayfanız varsa, komutu doğru girmeniz yeterlidir. Komutu girmek için herhangi bir kod bilgisine gerek yoktur. İstenmeyen bir txt dosyası sabit bir form olarak kalır. Yani, ilk standart şu şekildedir:

User-agent: *
Disallow:

2) Robotların sitenizdeki hiç bir dosyayı dizine eklemesini istemiyorsanız:
User-agent: *
Disallow: /
3) Yalnız sizin belirtdiğiniz sitelerin arama motoru botlarının dizine eklemesi için:

User-agent: Google
Disallow:

Not: User- agent kısmında Google yerine Yandex yazdığınız zaman, siteyi yalnız Yandex dizine ekleye bilecek.

4) Yalnız belirlediğiniz herhangi bir sayfanın bot tarafından dizine eklenmesi için:

User-agent: *
Disallow: /index4/junk.html
Disallow: /index/seo.html
Disallow: /menu/smm.html

5) Sitede var olan ve “yazılar 1 klasörü içerisinde yerleşen yazı1dosyasından başka hiç bir dosyayı okuma” komutunu vermek için:

User-agent: *
Allow: /yazılar1/yazı1.html
Disallow: /yazılar1/

6) Sitenizi ziyaret eden bot için indeksleme zamanlaması talimatını vermek için:

user-agent: googlebot
crawl-delay: 2

Örneğin, bir botun sitenizi sadece 2 dakika içinde endekslemesini istiyorsanız, yukarıdaki komutu uygulamanız yeterlidir. Sonuç olarak, sitenizi ziyaret eden googlebot 2 dakikalık zamanda siteyi tam taramazsa bile, belirlenmiş zamanın sonunda sitenizi terk eder.

Kullanıcı karşısında olan (*) All – yani tüm anlamındadır. Sitenizin tamamıyla indekslenmesini istiyorsanız (*) işaretini kullanmalısınız.

Disallow karşısında olan iki noktadan sonra hiçbir komut yazmazsanız bu sitenizde herhangi bir bot tarafından taranmasını istemediğiniz sayfanın veya sayfaların olmadığı anlamına gelir.
Disallow karşısında / (slash) işaretini kullanırsanız, siteniz tamamıyla taranmayacak.

Belirtmek isterim ki, robots.txt dosyası SEO açısından oldukça önemlidir.

Kaynak: https://kharayev.wordpress.com/