robots.txt ile Yapay Zekâ Tarayıcılarını Yönetmek: GPTBot, ClaudeBot, Google-Extended

Üç tür tarayıcı: eğitim, arama, kullanıcı isteği

• Eğitim botları içeriği gelecekteki modellerin eğitim verisine dahil etmek için toplar. Engellemek, içeriğin gelecekte eğitimde kullanılmasını istemediğinizi bildirir.
• Arama botları içeriği yapay zekâ destekli arama sonuçlarında göstermek ve kaynak olarak bağlantı vermek için dizine ekler. Engellemek, o platformun yanıtlarında alıntılanmamak demektir.
• Kullanıcı isteği botları bir kullanıcı sohbette bir sayfayı açmasını istediğinde çalışır; otomatik tarama yapmaz.

Google-Extended, AI Overviews’u engellemez

En yaygın yanlış anlama budur. Google’a göre Google-Extended, Gemini uygulamaları ve Vertex AI gibi ürünlerde içeriğin kullanımını yönetir ve Google Arama üzerinde etkisi yoktur. Google Arama’daki AI Overviews ve AI Mode, normal arama sonuçlarıyla aynı denetimlere tabidir:

Hangi politikayı seçmeli?

Bir hizmet veya bilgi sitesi için arama botlarını engellemek, potansiyel ziyaretçilerin giderek daha çok kullandığı bir kanalda görünmemeyi seçmek demektir. Bu kararın nasıl bir görünürlük stratejisine oturduğunu GEO nedir rehberinde anlattık.

robots.txt örnekleri

Örnek 1 — yapay zekâ aramalarında görünür kal, model eğitimine izin verme:

# Eğitim — izin verilmiyor
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Yapay zekâ araması ve kullanıcı istekleri — izin veriliyor
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /wp-admin/

# Diğer tüm tarayıcılar
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://alan-adiniz.com/wp-sitemap.xml

Birden fazla User-agent satırını art arda yazıp tek bir kural grubu uygulamak robots.txt standardında (RFC 9309) geçerlidir. Bir bot hem kendi adıyla hem * ile eşleşiyorsa kendi adına yazılmış grubu uygular; bu yüzden özel gruplarda genel kısıtlamaları (ör. /wp-admin/) tekrar yazın.

Örnek 2 — hepsine izin ver (varsayılan davranış): özel bir kural yazmazsanız * grubu tüm botlar için geçerlidir. Açıkça izin vermek zorunlu değildir, ama politikanızı belgelemek için yazılabilir.

WordPress’te robots.txt nerede?

• Kök dizinde fiziksel bir robots.txt dosyası yoksa WordPress sanal bir robots.txt üretir; içeriği eklentiler değiştirebilir.
• Birçok SEO eklentisi robots.txt’i panelden düzenlemeye izin verir.
• Kök dizine fiziksel bir robots.txt dosyası koyarsanız sunucu onu gönderir ve WordPress’in ürettiği içerik devre dışı kalır.

robots.txt’in sınırları

• robots.txt bir istektir; kurallara uyan botları yönetir, uymayanı durdurmaz.
• Kullanıcı aracısı dizesi taklit edilebilir. OpenAI ve Perplexity gibi sağlayıcılar botlarının IP aralıklarını yayımlar; sunucu düzeyinde doğrulama bunlarla yapılabilir.
• Bir sayfanın dizinden çıkması için robots.txt ile engellemek yeterli değildir; engellenen sayfanın noindex etiketi okunamaz. Dizinden çıkarmak için taramaya izin verilip noindex kullanılır.
• Kural değişikliklerinin sağlayıcıların sistemlerine yansıması zaman alabilir.