robots.txt Dosyası Nasıl Oluşturulur ve Yüklenir?

Okuma süresi: 3 dk

Kısa yanıt: cPanel › Dosya Yöneticisi › public_html klasöründe “+ Dosya” ile robots.txt adlı bir dosya oluşturun, kurallarınızı yazıp kaydedin. Dosya alanadiniz.com/robots.txt adresinden açılmalıdır; en basit hâli User-agent: * ve Allow: / satırları ile site haritası adresinizden oluşur.

Bu rehber kimin için: Arama motoru ayarı yapan site sahipleri · Gereken süre: 10 dakika · Seviye: Başlangıç

robots.txt, arama motoru tarayıcılarına sitenizin hangi bölümlerini taramaları gerektiğini söyleyen düz metin dosyasıdır. Dosya taramayı yönetir, dizine eklemeyi değil: robots.txt ile engellenen bir sayfa başka sitelerden bağlantı alırsa yine arama sonuçlarında görünebilir. Bir sayfayı arama sonuçlarından tamamen çıkarmak için noindex etiketi kullanılmalıdır.

Dosyayı oluşturma

Konum: Dosya Yöneticisi › public_html; alt alan adları için kendi belge kökü.
Oluşturun: “+ Dosya” › ad: robots.txt (küçük harfle).
Kuralları yazın: Örnek: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php / Sitemap: https://alanadiniz.com/sitemap_index.xml.
Kaydedin: Dosyayı utf-8 olarak kaydedin.
Açın: alanadiniz.com/robots.txt adresinde içeriği görün.
Doğrulayın: Robots.txt kontrol aracıyla kuralların doğru yorumlandığını test edin.

WordPress sanal robots.txt

Kök dizinde fiziksel bir robots.txt yoksa WordPress otomatik olarak sanal bir dosya üretir. Yoast SEO veya Rank Math gibi eklentiler bu dosyayı kendi ekranlarından düzenlemenizi sağlar. Fiziksel dosya oluşturursanız sanal dosyanın yerini alır; iki yöntemi karıştırmayın.

Sık hatalar

Disallow: / satırı tüm siteyi taramaya kapatır; geliştirme aşamasından kalan bu satır yayındaki sitede kalırsa organik trafik düşer.
CSS ve JavaScript dosyalarını engellemek Google’ın sayfanızı doğru görmesini engeller.
Site haritası satırında http yerine https kullanın ve haritanın açıldığını sitemap kontrol ile doğrulayın.

Google robots.txt dosyasını nasıl okur?

Dosyayı yazmak kadar, arama motorunun onu hangi durumda nasıl yorumladığını bilmek de önemlidir. Google’ın belgelerindeki temel kurallar:

Durum	Google’ın davranışı
Dosya yok (404)	Tarama kısıtı yok sayılır; site tümüyle taranabilir
Sunucu hatası (5xx)	İlk 12 saat tarama durur; ardından 30 güne kadar son geçerli kopya kullanılır; kopya yoksa kısıt yok sayılır
Değişiklik	Dosya genellikle 24 saate kadar önbellekte tutulur
Boyut	500 KiB’den sonraki satırlar dikkate alınmaz
Kapsam	Kurallar yalnız dosyanın bulunduğu protokol, alan adı ve port için geçerlidir; her alt alan adının kendi robots.txt dosyası olmalıdır
Biçim	UTF-8 kodlu düz metin, sitenin kök klasöründe

Bu yüzden alanadiniz.com/robots.txt adresi hiçbir zaman sunucu hatası vermemeli; dosya varsa 200, yoksa 404 dönmelidir. Durum kodunu HTTP başlık kontrolü ile, kuralların yorumunu robots.txt kontrol aracıyla görebilirsiniz.

Hâlâ çözülmediyse

Değişiklikler alanadiniz.com/robots.txt adresinde görünmüyorsa LiteSpeed Cache veya CDN önbelleğini temizleyin. Google robots.txt dosyasını genellikle 24 saate kadar önbellekte tutar; daha hızlı okunmasını istiyorsanız Search Console’daki robots.txt raporunda yeniden tarama isteğini (Request a recrawl) kullanın. Arama motoru görünürlüğü için hızlı bir altyapı önemlidir; WordPress hosting paketlerimiz LiteSpeed önbelleğiyle gelir.

Sık sorulan sorular

Yapay zekâ tarayıcılarını robots.txt ile engelleyebilir miyim?

Kurallara uyanları evet; ayrıntılar için kötü botları engelleme rehberine bakın.

Dosya olmazsa ne olur?

Tarayıcılar tüm siteyi taranabilir kabul eder; bu bir hata değildir.

Bir sayfayı hem robots.txt ile engelleyip hem noindex verirsem ne olur?

Google sayfayı tarayamadığı için içindeki noindex etiketini göremez; sayfa başka sitelerden bağlantı alıyorsa sonuçlarda adres olarak görünmeye devam edebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız noindex kullanın ve o sayfayı robots.txt ile engellemeyin.

WordPress’in kendi site haritası hangi adreste?

Bir SEO eklentisi kullanmıyorsanız WordPress’in çekirdek site haritası alanadiniz.com/wp-sitemap.xml adresindedir ve WordPress’in ürettiği sanal robots.txt bu adresi kendiliğinden içerir. Yoast SEO ya da Rank Math gibi bir eklenti kullanıyorsanız Sitemap satırına eklentinin gösterdiği adresi (çoğunlukla sitemap_index.xml) yazın ve sitemap kontrol ile açıldığını doğrulayın.

İlgili rehberler

Bu rehber işinize yaradı mı?