Robot txt dosyası nerede?
Robot.txt dosyası, web sitenizin kök dizininde yer alır. Bu dosya, arama motorlarına hangi sayfaların taranabileceğini veya taranamayacağını belirtir. Robot.txt dosyasını bulmak için, sitenizin URL’sinin sonuna “/robots.txt” ekleyerek tarayıcınızda açabilirsiniz. Örneğin,...