Kötü Botları ve Agresif Tarayıcıları Engelleme

Okuma süresi: 2 dk

Kısa yanıt: cPanel › Metrikler › Ham Erişim veya Ziyaretçiler ekranında en çok istek yapan IP ve user-agent’ları belirleyin. Kurallara uyan tarayıcıları robots.txt ile, uymayanları .htaccess dosyasında user-agent’a göre 403 döndüren kurallarla veya cPanel IP Engelleyici ile engelleyin.

Bu rehber kimin için: Bot trafiği nedeniyle yavaşlayan siteler · Gereken süre: 20 dakika · Seviye: Orta

Arama motoru tarayıcıları siteniz için gereklidir; ancak SEO araçlarının, veri kazıyıcıların ve bazı yapay zekâ tarayıcılarının agresif istekleri CPU ve giriş işlemi limitlerinizi tüketebilir. Bu durum 508 kaynak limiti hatalarına yol açar.

Botları tespit etme ve engelleme

Kayıtları inceleyin: cPanel › Metrikler › Ziyaretçiler ekranında son istekleri görün veya Ham Erişim kayıtlarını indirip en sık geçen user-agent’ları sayın.
Kimliği doğrulayın: Googlebot veya Bingbot gibi görünen botların gerçek olup olmadığını IP’nin ters DNS kaydıyla kontrol edin; sahte Googlebot yaygındır.
robots.txt: Kurallara uyan botlar için User-agent: BotAdi ve Disallow: / satırlarını ekleyin; dosyayı robots.txt kontrol ile doğrulayın.
.htaccess kuralı: Uymayan botlar için RewriteCond %{HTTP_USER_AGENT} (BotAdi1|BotAdi2) [NC] ve RewriteRule .* - [F,L] satırlarını ekleyin.
IP engelleme: Tek bir IP’den yoğun istek geliyorsa IP engelleme rehberini uygulayın.
Sonucu izleyin: Birkaç gün boyunca kaynak kullanımını kaynak izleme ekranından takip edin.

Yapay zekâ tarayıcıları

Eğitim için veri toplayan tarayıcılar ile arama tarayıcıları ayrıdır: OpenAI’da GPTBot eğitim, OAI-SearchBot arama içindir; Anthropic’te ClaudeBot eğitim, Claude-SearchBot arama içindir; Common Crawl’un CCBot’u açık bir veri kümesi toplar. Google-Extended ise ayrı bir tarayıcı değil, Googlebot’un taradığı içeriğin Google’ın yapay zekâ modellerinde kullanılmasını sınırlayan bir robots.txt belirtecidir. Bu şirketler botlarının robots.txt kurallarına uyduğunu belirtir. İçeriğinizin yapay zekâ modellerinin eğitiminde kullanılmasını istemiyorsanız robots.txt ile engelleyebilirsiniz; bu, Google arama sıralamalarınızı etkilemez. ChatGPT ya da Claude aramasında kaynak olarak görünmek istiyorsanız yalnız eğitim botlarını engelleyin, OAI-SearchBot ve Claude-SearchBot’a izin verin.

Hâlâ çözülmediyse

Yanlışlıkla gerçek arama motoru botlarını engellemediğinizden emin olun; Googlebot’u engellemek siteyi arama sonuçlarından düşürür. Kurallar sonrası site hata veriyorsa .htaccess sözdizimini kontrol edin. LiteSpeed web sunucusu ve Imunify360 WAF kullanan web hosting paketlerimizi inceleyebilirsiniz.

Sık sorulan sorular

Cloudflare kullanıyorsam?

Cloudflare’in bot yönetimi ve WAF kuralları sunucuya ulaşmadan engelleme yapar; en verimli yöntemdir.

robots.txt ile engellenen bot neden hâlâ geliyor?

robots.txt bir rica niteliğindedir; kötü niyetli botlar uymaz, onları .htaccess veya IP ile engelleyin.

İlgili rehberler

Bu rehber işinize yaradı mı?