Birçok site, içeriğinin yapay zeka eğitiminde kullanılmasını istemediği için robots.txt dosyasına GPTBot engeli ekledi. Sonra şu soru geldi: bu ayar, ChatGPT'nin markamı anmasını da engelliyor mu? Kısa cevap: GPTBot tek başına arama cevaplarındaki görünürlükle ilgili değil. Ama çoğu site yalnız GPTBot'u değil, bütün yapay zeka botlarını topluca engelliyor. Asıl sorun genelde burada çıkıyor.
OpenAI'nin botları nelerdir?
OpenAI, tarayıcı belgesinde üç ayrı kullanıcı aracısı tanımlıyor. Her biri farklı bir iş yapar:
- GPTBot: OpenAI'nin temel modellerinin eğitiminde kullanılabilecek içeriği tarar. Belgeye göre GPTBot'u engellemek, sitenizin içeriğinin bu modellerin eğitiminde kullanılmaması gerektiğini bildirir.
- OAI-SearchBot: ChatGPT'nin arama özelliklerinde siteleri göstermek için kullanılır. Belgeye göre bu botu engelleyen siteler ChatGPT arama cevaplarında gösterilmez. Yalnız gezinme bağlantısı olarak görünmeye devam edebilirler.
- ChatGPT-User: Kullanıcı ChatGPT'de bir soru sorduğunda ya da bir işlem başlattığında sayfayı ziyaret edebilir. İşlemi kullanıcı başlattığı için robots.txt kuralları bu bota uygulanmayabilir.
OpenAI bu ayarların birbirinden bağımsız olduğunu açıkça yazıyor. Örneğin arama sonuçlarında görünmek için OAI-SearchBot'a izin verip GPTBot'u engelleyebilirsiniz.
GPTBot'u engellersem ne olur?
Belgeye göre GPTBot engeli, içeriğinizin gelecekteki model eğitiminde kullanılmaması isteğidir. ChatGPT arama cevaplarında gösterilip gösterilmemeniz ise OAI-SearchBot ayarına bağlıdır.
Burada bir ayrıntıyı bilmek faydalı. ChatGPT bir soruyu iki yoldan cevaplayabilir: eğitimde öğrendiği bilgiden ya da o an web'de arayıp okuduğu sayfalardan. GPTBot engeli ilk yolla, OAI-SearchBot engeli ikinci yolla ilgilidir. OpenAI, GPTBot engelinin bir markanın model tarafından ne kadar tanındığına etkisi hakkında bir rakam ya da açıklama vermiyor. Bu yüzden bu konuda kesin bir şey söylemek doğru olmaz. İki yolu daha ayrıntılı anlattığımız ChatGPT bilgileri nereden alıyor? yazısına göz atabilirsiniz.
Asıl dikkat edilmesi gereken ayar hangisi?
Markası ChatGPT aramalarında görünmeyen sitelerde sık görülen durum şudur: GPTBot'u engellemek isterken OAI-SearchBot da engellenmiştir. Bunun birkaç yolu var:
- robots.txt'te bütün botlar için genel bir engel vardır ve yalnız Googlebot'a izin verilmiştir.
- Bir güvenlik eklentisi "yapay zeka botlarını engelle" seçeneğiyle hepsini birden kapatmıştır.
- Barındırma firması ya da CDN, bot trafiğini kendi ayarıyla durdurmaktadır.
Son iki durumda robots.txt dosyanız temiz görünebilir, ama botlar yine de sayfalarınıza ulaşamaz. Bu yüzden yalnız dosyaya değil, sunucu ve güvenlik ayarlarına da bakmak gerekir.
Eğitime kapalı, aramaya açık bir ayar nasıl görünür?
İçeriğinizin eğitimde kullanılmasını istemiyor ama ChatGPT aramalarında görünmek istiyorsanız, robots.txt'te şu mantığı kurabilirsiniz:
- GPTBot için: Disallow: /
- OAI-SearchBot için: Allow: /
Değişiklikten sonra acele etmeyin. OpenAI, robots.txt güncellemesinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini söylüyor.
Bu bir tercih meselesi. GPTBot'a izin vermek de, engellemek de meşru kararlardır. Önemli olan, verdiğiniz kararın arama görünürlüğünüzü farkında olmadan kesmemesidir.
Karar verirken hangi soruları sormalısınız?
GPTBot'u engelleyip engellememek bir işletme kararıdır. Karar verirken şu sorular yol gösterir:
- İçeriğiniz sizin için satılan bir ürün mü? Haber, araştırma ya da ücretli içerik yayımlıyorsanız eğitim kullanımına kapalı kalmak isteyebilirsiniz.
- Siteniz daha çok tanıtım amaçlı mı? Hizmet ve ürün sayfalarınızın amacı zaten bilinmekse, eğitime açık kalmak sizin için bir kayıp olmayabilir.
- Arama görünürlüğü sizin için ne kadar önemli? Önemliyse, eğitim kararınız ne olursa olsun OAI-SearchBot'a izin verin.
- Ayarı kim yönetiyor? Robots.txt'i siz, güvenlik ayarını başka biri yönetiyorsa, iki tarafın aynı kararı uyguladığından emin olun.
Sık yapılan hatalar nelerdir?
Bu konuda sık görülen hatalar şunlar:
- Bütün yapay zeka botlarını tek satırla kapatmak ve arama botlarını da farkında olmadan engellemek.
- Robots.txt'i düzeltip CDN ya da güvenlik eklentisindeki bot engelini unutmak.
- Ayarı değiştirdikten hemen sonra sonuç beklemek. OpenAI ve Perplexity, değişikliğin yansımasının yaklaşık bir gün sürebileceğini söylüyor.
- Bot adını yanlış yazmak. Robots.txt'teki ad, belgedeki kullanıcı aracısı adıyla birebir aynı olmalı.
Diğer motorlarda durum nasıl?
Benzer ayrım başka motorlarda da var:
- Perplexity: Perplexity'nin belgesine göre PerplexityBot, Perplexity arama sonuçlarında siteleri göstermek ve bağlantı vermek için kullanılır. Temel model eğitimi için içerik taramaz. Arama sonuçlarında görünmek için bu bota izin verilmesini öneriyorlar. Kullanıcı işlemleri için gelen Perplexity-User ise genelde robots.txt kurallarını dikkate almaz.
- Google: Google'a göre Google-Extended, taranan içeriğin gelecekteki Gemini modellerinin eğitiminde kullanılıp kullanılmayacağını yönetmek için bir ayardır. Google-Extended, bir sitenin Google Arama'ya dahil olmasını etkilemez ve sıralama sinyali olarak kullanılmaz.
Yani üç motorda da "eğitim" ile "aramada gösterilme" ayrı ayarlardır. Birini kapatırken diğerini de kapatıp kapatmadığınızı kontrol etmek gerekir.
Kendi sitenizi nasıl kontrol edersiniz?
Elle kontrol için şu sırayı izleyebilirsiniz:
- Sitenizin adresinin sonuna /robots.txt yazıp dosyayı açın.
- GPTBot, OAI-SearchBot, PerplexityBot ve Google-Extended adlarını arayın. Hangisine ne izin verildiğini not edin.
- "User-agent: *" altında genel bir engel var mı, bakın.
- Güvenlik eklentinizde ve CDN panelinizde bot engelleme ayarı olup olmadığını kontrol edin.
AIShortlist'in Site ekranındaki teknik kontrol, robots.txt dosyanızı ve yapay zeka botlarının engelli olup olmadığını tarar. GPTBot, OAI-SearchBot, PerplexityBot ve Google-Extended dahil yaygın botlara bakar. Her bulgu için ne yapılacağını da yazar.
Bot ayarı düzeltilince görünür olur muyum?
Bot erişimi bir ön şarttır, tek başına yeterli değildir. Botlar sitenize girebildiği halde motorlar sizi anmıyorsa sebep başka yerdedir: sayfalarınızın ne yaptığınızı açıkça anlatmaması ya da motorların okuduğu liste sayfalarında adınızın geçmemesi gibi. Bu sebepleri sırayla ele aldığımız ChatGPT markamı neden önermiyor? yazısı bir sonraki adım için iyi bir başlangıç olur.
Ayarı düzelttikten sonra etkisini görmek için ölçmeniz gerekir. Ücretsiz denemeyle 10 soruyu ChatGPT, Gemini ve Perplexity'de bir kez ölçebilir, site kontrolünü de aynı hesapta görebilirsiniz. Kart bilgisi istenmez.