Bot erişimi neden önemli?
Bir yapay zeka motoru sitenizi kaynak gösterebilmek için önce sayfanızı okuyabilmelidir. Bot sayfayı açamıyorsa içeriğiniz ne kadar iyi olursa olsun cevaba giremez.
Engel çoğu zaman bilerek konmaz: bir güvenlik eklentisi, barındırma firmasının varsayılan kuralı ya da eski bir robots.txt satırı botu sessizce dışarıda bırakır. Site ziyaretçiye normal açıldığı için fark edilmez.
Test neye bakar?
Üç ayrı kontrol yapılır:
- robots.txt: dosyanız okunur ve her bot için izin ya da yasak kuralı çıkarılır.
- Deneme isteği: ana sayfanıza botun adını taşıyan bir istek gönderilir ve sunucunuzun ne cevap verdiğine bakılır. Güvenlik duvarının botu engellediği burada görünür.
- Okunur metin: sayfanın ham HTML'inde metin olup olmadığına bakılır. İçerik yalnız JavaScript ile çiziliyorsa çoğu bot boş sayfa görür.
Hangi botlar sınanır?
On bot ayrı ayrı sınanır: OAI-SearchBot, ChatGPT-User, GPTBot, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Bingbot.
| Bot | Kimin | Ne işe yarar |
|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT'nin arama sonuçları için sayfaları dizine alır |
| ChatGPT-User | OpenAI | Kullanıcı sorduğunda sayfayı o anda açar |
| GPTBot | OpenAI | Model eğitimi için tarar |
| ClaudeBot, Claude-SearchBot, Claude-User | Anthropic | Eğitim, arama ve kullanıcı isteği |
| PerplexityBot, Perplexity-User | Perplexity | Arama dizini ve kullanıcı isteği |
| Googlebot | Google Arama; Gemini cevapları Google Arama sonuçlarına dayanır | |
| Bingbot | Microsoft | Bing dizini |
Eğitim botunu engelleyip arama botunu açık bırakmak mümkündür; ikisi aynı şey değildir. Ayrıntı: GPTBot'u engellemek ChatGPT'de görünmeyi etkiler mi?
Sonuç ne kadar kesin?
Deneme isteği bizim sunucumuzdan gider. Gerçek botlar yalnız adlarından değil IP adreslerinden de tanınır; bu yüzden sonuç panelde "olası engel" olarak gösterilir, kesin kanıt sayılmaz.
Kesin kanıt kendi sunucu kayıtlarınızdadır: botun adını kayıtlarda aratıp hangi cevap kodunu aldığına bakın. Test size nereye bakacağınızı söyler.
Engel çıkarsa ne yaparsınız?
- robots.txt yasağı: ilgili bot için Disallow satırını kaldırın ya da Allow ekleyin.
- Güvenlik duvarı ya da eklenti: botun adını izinli listeye ekleyin; barındırma firmanızın varsayılan bot kuralını sorun.
- JavaScript ile çizilen içerik: sayfayı sunucuda üretin ya da ana metni ham HTML'e koyun.
- Düzelttikten sonra testi yeniden çalıştırın ve sunucu kayıtlarından doğrulayın.
Testi nasıl çalıştırırsınız?
Ücretsiz site denetimi hesap açmadan çalışır: alan adınızı ve e-posta adresinizi yazarsınız, sitenizin ilk 10 sayfası taranır, bot erişimi ve hız sonucu birkaç dakikada gelir.
Panelde bot erişimi site denetiminin parçasıdır ve her pakette açıktır. Tarama sınırı pakete göre büyür: deneme 10, Lite 25, Starter 50, Growth 250, Pro ve Ajans 1.000 sayfa. Hız, Google PageSpeed Insights ile mobil ve masaüstü ölçülür.