robots.txt Nerede Bulunur ve Crawling Hakkında Ne Söyler

robots.txt dosyasını her zaman sitenin kök dizininde bulursunuz. Arama yaparken example.com/robots.txt şeklinde yazarsınız, alt klasörlere değil. Google for Developers bunu açıkça belirtir ve bu basit kural, dosya hakkındaki kafa karışıklıkların çoğunun kaynağıdır.

Çoğu kişi robots.txt'yi ararken aslında bir sorunu çözmek istiyor. Bir sayfa sıralamalardan düştü, Search Console hata verdi veya /inurl:robots.txt araması ilgisiz sonuçlarla doldu. Dosyayı bir dakikada buluyorlar. Sonra dört satırlık bir metin görüp hangisinin trafiğe zarar verdiğini anlayamıyorlar.

gerçek sorun burası. Dosyayı bulmak iki dakikalık mekanik bir iş; danışman gerektirmez. Ama dosyanın içinde ne yazıyor olduğu, kuralların URL'lerinize nasıl etki ettiği ve yazdığınız kuralların arama motorlarının gerçek davranışıyla uyuşup uyuşmadığı, bu önemli. Disallow satırının ne olduğunu zaten biliyorsan bile, kurallarının gerçekte ne yaptığını kontrol etmek gerekir.

Bir crawl denetiminde robots.txt'yi bulmak değil, anlamak kazandırır. Dosyadaki her kural hangi sayfaları engelliyorsa, bunun sıralamaya ve indekslemeye etkisi nedir, bu kural hâlâ gerekli midir, bunları sorgulamak gerekir. Yanlış bir disallow satırı sessizce trafiğinizi kaybettirabilir.