Robots.txt Kontrol | Robots.txt Test ve Doğrulama

robots.txt ne işe yarar?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru tarayıcılarına hangi bölümleri taramamaları gerektiğini söyleyen metin dosyasıdır. Kurallar 2022’de RFC 9309 ile standartlaştırıldı. Önemli bir ayrım: robots.txt taramayı engeller, dizine eklemeyi değil. Engellenen bir sayfa başka sitelerden bağlantı alırsa içeriği olmadan arama sonuçlarında görünebilir.

robots.txt’nin taramayı engellediğini ancak dizine eklemeyi engellemediğini gösteren şema

Sık yapılan robots.txt hataları

En yaygın sorunlar:

Tüm sitenin engellenmesi

Geliştirme ortamından kalan “Disallow: /” satırı, sitenin tamamen taranmamasına yol açar.

CSS ve JavaScript engelleme

Google sayfayı tarayıcı gibi işler; stil ve betik dosyalarını engellemek sayfanın yanlış anlaşılmasına neden olur.

noindex için robots.txt kullanmak

Google, robots.txt içindeki noindex yönergesini Eylül 2019’dan beri desteklemiyor. Dizinden çıkarmak için sayfada meta robots noindex kullanın ve sayfayı robots.txt ile engellemeyin.

crawl-delay

Googlebot crawl-delay yönergesini dikkate almaz.

Google robots.txt dosyasını nasıl işler?

Dosya yalnız bulunduğu protokol, alan adı ve port için geçerlidir. www’li ve www’siz sürüm ile her alt alan adı kendi dosyasını ister.
Bir tarayıcı için yalnız tek bir grup geçerlidir: o tarayıcının adına en ayrıntılı uyan User-agent grubu. Aynı ada ait birden çok grup varsa kuralları birleştirilir; özel bir grup varsa * grubunun kuralları o tarayıcıya uygulanmaz. User-agent adı büyük-küçük harfe duyarlı değildir.
Yol kurallarında en uzun (en özel) kural geçerlidir. Eşitlik olursa daha az kısıtlayıcı kural, yani Allow kazanır. * ve $ işaretleri desteklenir.
Google dosyanın ilk 500 KiB’ını işler, fazlasını yok sayar. Sınır bayt cinsindendir; Türkçe karakterler UTF-8’de iki bayt tuttuğu için dosya karakter sayısından daha büyük olabilir.
2xx yanıtında kurallar okunur. 429 dışındaki 4xx yanıtlarında Google dosya yokmuş gibi davranır ve siteyi kısıtsız sayar. 5xx ve ağ hatalarında Google ilk 12 saat siteyi taramayı durdurur, sonraki 30 gün son geçerli kopyayı kullanır. 429 yanıtı “dosya yok” sayılmaz ve tarama hızını düşürebilir.
Google en az beş yönlendirme adımını izler; daha uzun bir zincirde dosyayı 404 sayar. Dosya genellikle 24 saate kadar önbellekte tutulur.

Aracımız da aynı kurallarla çalışır. Sonuç tablosundaki “Uygulanan grup” satırı, seçtiğiniz tarayıcı için hangi User-agent grubunun kullanıldığını gösterir. Dosya alınamazsa araç yanıt koduna göre Google’ın nasıl davranacağını yazar; 500 KiB sınırını da UTF-8 bayt olarak ölçer. Dosyayı ilk kez hazırlıyorsanız adımlar robots.txt dosyası oluşturma rehberimizde.

Örnek bir WordPress robots.txt

Çoğu WordPress sitesi için sade bir dosya yeterlidir:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.ornek.com/sitemap_index.xml

Site haritanızı sitemap kontrol aracıyla doğrulayın.

robots.txt nasıl test edilir?

Alan adını girin: Araç robots.txt dosyanızı otomatik getirir.
Sonucu okuyun: Test edilen yolun izinli mi engelli mi olduğunu, eşleşen kuralı ve Sitemap satırlarını kontrol edin.
URL test edin: Önemli bir sayfanın yolunu yazıp Googlebot için izinli olduğunu doğrulayın.
Düzeltip yükleyin: Dosyayı düzenleyip sitenizin kök dizinine yükleyin ve testi tekrarlayın.

Sık sorulan sorular

robots.txt olmazsa ne olur?

Dosya yoksa (404) tarayıcılar tüm siteyi taranabilir kabul eder; bu bir hata değildir.

robots.txt ile bir sayfayı Google’dan kaldırabilir miyim?

Hayır. Sayfayı dizinden çıkarmak için meta robots noindex veya X-Robots-Tag kullanın; Search Console’daki kaldırma aracı ise geçici çözümdür.

Yapay zekâ tarayıcılarını engelleyebilir miyim?

Bazı yapay zekâ şirketlerinin tarayıcıları kendi kullanıcı aracısı adlarıyla robots.txt kurallarına uyduğunu belirtir; ilgili adlar için Disallow kuralı ekleyebilirsiniz. Uyum, tarayıcının beyanına bağlıdır.

Dosyayı nereye yüklemeliyim?

Alan adının kök dizinine: https://www.ornek.com/robots.txt. Alt dizindeki robots.txt dosyaları dikkate alınmaz; her alt alan adının kendi dosyası olmalıdır.

Google-Extended’ı engellersem Google aramada görünmez olur muyum?

Hayır. Google-Extended ayrı bir tarayıcı değil, robots.txt’de kullanılan bir kontrol belirtecidir. İçeriğinizin Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI’daki dayanak (grounding) kullanımında kullanılmasını sınırlar. Google’a göre sitenin Google Arama’ya dahil edilmesini etkilemez ve bir sıralama sinyali değildir. Googlebot’u engellemek ise Arama’yı doğrudan etkiler.

Search Console robots.txt dosyamı nasıl gösterir?

Search Console’daki robots.txt raporu, Google’ın siteniz için bulduğu robots.txt dosyalarını, son tarama zamanını ve ayrıştırma sorunlarını gösterir. Acil bir düzeltmeden sonra dosyanın yeniden taranmasını da bu rapordan isteyebilirsiniz.

Araç hangi tarayıcının kurallarını uygular?

Kontrol sekmesinde Googlebot, Bingbot ve tüm tarayıcılar (*) seçilebilir. Araç seçtiğiniz tarayıcının adına en ayrıntılı uyan User-agent grubunu uygular, böyle bir grup yoksa * grubunu kullanır. Hangi grubun uygulandığını sonuçtaki “Uygulanan grup” satırında görürsünüz.

İlgili araçlar ve hizmetler

Sonuçlara göre bir sonraki adımı kolaylaştıran ilgili araçlarımız ve hizmetlerimiz aşağıda.

WordPress hosting için dticaret’i inceleyin

WordPress hosting