WordPress robots.txt Düzenleme: Doğru Kurallar ve Örnekler
- Yayınlandı:
- Son teknik kontrol:
SEO
Kısa cevap
WordPress, sunucuda fiziksel bir robots.txt dosyası yoksa sanal bir robots.txt üretir: yönetim panelini (/wp-admin/) engeller, admin-ajax.php’ye izin verir ve çekirdek site haritasını ekler. Çoğu site için bu yeterlidir. Düzenlemek isterseniz SEO eklentinizin robots.txt düzenleyicisini veya kök dizine yükleyeceğiniz fiziksel bir dosyayı kullanırsınız; fiziksel dosya sanal olanın yerini alır. En sık hata, CSS/JS dosyalarının bulunduğu klasörleri engellemek ve robots.txt’i sayfaları dizinden çıkarmak için kullanmaktır.
Önemli noktalar
- robots.txt taramayı yönetir, dizine eklemeyi engellemez; dizinden çıkarmak için noindex kullanılır.
- Engellenen sayfadaki noindex etiketi görülemez; aynı sayfaya hem engel hem noindex uygulanmaz.
- wp-content ve wp-includes engellenirse Google sayfayı düzgün çizemez.
- Fiziksel robots.txt dosyası WordPress’in sanal dosyasını tamamen geçersiz kılar.
- Google dosyanın ilk 500 KiB’ını okur; kısa ve sade tutun.
WordPress’in varsayılan robots.txt’i
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://alanadiniz.com/wp-sitemap.xmladmin-ajax.php’ye izin verilir çünkü ön yüzdeki bazı özellikler bu dosyayı kullanır — admin-ajax.php. “Sitemap” satırını çekirdek site haritası ekler; SEO eklentisi kullanıyorsanız eklenti kendi site haritası adresini ekleyebilir.
Nasıl düzenlenir?
| Yöntem | Not |
|---|---|
| SEO eklentisinin robots.txt düzenleyicisi | Panelden düzenlenir; sanal dosyayı değiştirir |
| Kök dizine fiziksel robots.txt yüklemek | Sanal dosyanın yerini tamamen alır; site haritası satırını elle eklemeyi unutmayın |
| Kodla (robots_txt filtresi) | Geliştiriciler için; sanal dosyaya satır ekler |
Yapılmaması gerekenler
| Hatalı kural | Neden sorun |
|---|---|
| Disallow: /wp-content/ | Tema CSS/JS ve görseller taranamaz; Google sayfayı eksik görür |
| Disallow: /wp-includes/ | Çekirdek betikleri engeller; aynı sorun |
| Dizinden çıkarmak istenen sayfaya Disallow | Sayfa taranamaz, noindex görülemez; adres sonuçlarda açıklamasız kalabilir |
| Disallow: / (kurulumdan kalmış) | Tüm site taramaya kapanır |
Test
Dosyayı açın
alanadiniz.com/robots.txt adresinde beklediğiniz kuralları görün. Beklemediğiniz bir içerik varsa kök dizinde eski bir fiziksel dosya olabilir.
Search Console’da kontrol edin
Search Console’un robots.txt raporu, Google’ın dosyayı en son ne zaman okuduğunu ve hata olup olmadığını gösterir.
Önemli bir sayfayı denetleyin
URL Denetimi aracında önemli bir sayfanın “robots.txt tarafından engellenmedi” olduğunu doğrulayın.
Sık sorulan sorular
Arama sonuçlarından bir sayfayı nasıl kaldırırım?
Ayarlar › Okuma’daki “arama motorlarına engel” seçeneği robots.txt’i mi değiştirir?
Kaynaklar ve teknik referanslar
Bu içeriği hazırlayan
WPHizmet EkibiWordPress teknik ekibi
WPHizmet içeriklerini hazırlayan teknik ekip. Rehberler, WordPress ve WooCommerce sitelerinde günlük olarak karşılaşılan sorunlara dayanır; sürüm, yapılandırma ve gereksinim bilgileri yayın öncesinde resmi dokümantasyondan doğrulanır.
- WordPress teknik destek
- Performans ve Core Web Vitals
- Güvenlik ve zararlı kod temizliği
- WooCommerce
- Teknik SEO