Robots.txt kısa anlamı ile bir dosya türüdür. Bu, çeşitli arama motorlarının sitenizde hangi dosyaların dizine eklemesi gerektiğini bildirmek için çeşitli sitelerde bulunan metin tabanlı bir dosyadır. Sitenize erişebilecek olan botlar site haritasında hangi bölümü okuyacağını veya hangi bölümü okumayacağını robot.txt  dosyası sayesinde belirler. Bilinen tüm arama motorları, belirli sitelerin içeriğini belirli botlarla doğrular ve bunu yaparak […]