Robots.txt Nedir ve SEO'yu Nasıl Etkiler?

Sitenizin kök dizininde duran küçük bir metin dosyası, arama motorlarının sitenizi nasıl gezeceğini belirler. Robots.txt yanlış yazıldığında tek bir satır tüm sitenizi Google’dan gizleyebilir. Bu yazıda robots.txt’nin ne olduğunu, nasıl çalıştığını ve SEO’yu nasıl etkilediğini anlatıyorum.

Önemli Noktalar

• Robots.txt, sitenin kök dizininde bulunan ve arama motoru botlarına hangi alanları tarayabileceğini söyleyen bir metin dosyasıdır.
• Sayfayı taramayı engeller ama dizine eklenmeyi garantili biçimde engellemez; bunun için noindex gerekir.
• Yanlış bir Disallow: / satırı, tüm sitenin taranmasını durdurarak ciddi trafik kaybına yol açabilir.
• Büyük sitelerde tarama bütçesini yönetmek için kritik bir araçtır.

Robots.txt Nedir?

Robots.txt, bir web sitesinin kök dizininde (site.com/robots.txt) bulunan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp hangilerini taramayacaklarını bildiren düz bir metin dosyasıdır. Bir botun siteye geldiğinde baktığı ilk yerlerden biridir. Sitenin “giriş kuralları levhası” gibi düşünülebilir.

Basit bir robots.txt şöyle görünür:

User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://site.com/sitemap.xml

Bu dosya bir öneri niteliğindedir; saygılı botlar (Googlebot gibi) kurallara uyar, ama kötü niyetli botlar görmezden gelebilir. Bu yüzden gizli içeriği korumak için robots.txt yeterli bir güvenlik önlemi değildir.

Robots.txt Ne İşe Yarar?

Robots.txt’nin temel görevi, arama motorlarının tarama davranışını yönlendirmek ve gereksiz alanları tarama dışı bırakmaktır. Yönetim panelleri, arama sonuç sayfaları, sepet veya filtre URL’leri gibi SEO değeri olmayan bölümleri engelleyerek, botların değerli sayfalara odaklanmasını sağlar. Bu özellikle büyük sitelerde önemlidir.

Başlıca kullanım alanları:

• Yönetici ve giriş sayfalarını taramadan hariç tutmak.
• Site içi arama sonuç sayfalarını engellemek.
• E-ticarette sonsuz filtre/sıralama URL’lerini sınırlamak.
• Tarama bütçesini önemli sayfalara yönlendirmek.
• Site haritasının (sitemap) konumunu bildirmek.

Önemli bir kavram olan “tarama bütçesi”, Google’ın belirli bir sürede sitenizden tarayacağı sayfa sayısıdır. Büyük sitelerde değersiz sayfaları engellemek, bu bütçenin doğru yerlere harcanmasını sağlar.

Tarama verimliliğini doğrudan etkileyen bir başka teknik konu için HTTP durum kodları nedir yazısını inceleyin.

Robots.txt SEO’yu Nasıl Etkiler?

Robots.txt SEO’yu hem olumlu hem de tehlikeli biçimde etkileyebilir; doğru kullanıldığında tarama verimliliğini artırır, yanlış kullanıldığında siteyi görünmez kılar. En büyük risk, yanlışlıkla yazılan bir Disallow: / satırının tüm sitenin taranmasını engellemesidir. Bu hata, bir sitenin tüm organik trafiğini birkaç gün içinde sıfırlayabilir.

Saha gözlemi: Gördüğüm en yıkıcı SEO kazaları, geliştirme ortamından canlıya alınan sitelerde robots.txt’nin yanlışlıkla tüm siteyi engelleyen Disallow: / satırıyla yayınlanmasıydı. Site canlıya alındıktan sonra robots.txt’yi kontrol etmek, bu felaketi önleyen basit ama hayati bir adımdır.

Olumlu tarafta, doğru yapılandırılmış bir robots.txt; gereksiz sayfaların taranmasını önleyerek değerli sayfaların daha sık ve düzenli taranmasını sağlar. Bu, yeni içeriklerin daha hızlı keşfedilmesine ve önemli sayfaların güncel tutulmasına yardımcı olur.

Robots.txt ile Noindex Arasındaki Fark Nedir?

Robots.txt taramayı engeller, noindex ise dizine eklenmeyi engeller; bu ikisi karıştırıldığında ciddi hatalar oluşur. Bir sayfayı robots.txt ile engellerseniz Google onu tarayamaz, ama başka sitelerden bağlantı alıyorsa yine de URL olarak dizinde “açıklamasız” görünebilir. Sayfanın tamamen aramalardan kaybolması için noindex etiketi gerekir.

Kritik bir tuzak şu: bir sayfayı hem robots.txt ile engelleyip hem de noindex koyarsanız, Google sayfayı tarayamadığı için noindex etiketini hiç göremez. Bir sayfanın gerçekten dizinden çıkmasını istiyorsanız, onu robots.txt’de engellememeli, taranmasına izin verip sayfaya noindex koymalısınız.

Dizine giren sayfaların gerçekten değerli olması için SEO uyumlu içerik nasıl yazılır rehberindeki ilkeleri uygulayın.

Robots.txt Dosyası Nasıl Oluşturulur ve Test Edilir?

Robots.txt oluşturmak basittir: düz bir metin dosyası açın, kuralları yazın ve dosyayı sitenin kök dizinine robots.txt adıyla yükleyin. Dosya mutlaka site.com/robots.txt adresinden erişilebilir olmalıdır. Yazım hatası kuralın yok sayılmasına yol açabileceği için dikkatli olmak gerekir.

Temel söz dizimi:

• User-agent: — Kuralın hangi bota uygulanacağını belirtir (* tümü demektir).
• Disallow: — Engellenecek yol. Disallow: / tüm siteyi engeller.
• Allow: — Engellenmiş bir alan içinde istisna tanımlar.
• Sitemap: — Site haritasının tam adresini bildirir.

Yayınlamadan önce mutlaka test edin. Google Search Console’un robots.txt raporu ve çeşitli çevrimiçi test araçları, kuralların istediğiniz gibi çalışıp çalışmadığını kontrol etmenizi sağlar. Özellikle Disallow satırlarını iki kez okumak, kazaları önler.

Sonuç

Robots.txt, küçük boyutuna rağmen sitenizin arama motorlarıyla ilişkisini doğrudan belirleyen güçlü bir dosyadır. Doğru kullanıldığında tarama bütçenizi korur ve değerli sayfalara odaklar; yanlış kullanıldığında ise tek satırla tüm sitenizi görünmez kılar.

Altın kural basit: her yayından sonra robots.txt’yi kontrol edin ve Disallow satırlarını dikkatle okuyun. Taramayı engellemekle dizine eklemeyi engellemenin farklı şeyler olduğunu unutmayın.

Teknik SEO denetiminizi tamamlamak için HTTP durum kodları nedir yazısıyla devam edebilirsiniz.