Özet: Robots.txt, arama motoru botlarının sitenizi nasıl tarayacağını yöneten basit ama güçlü bir dosyadır. Doğru yapılandırıldığında tarama bütçenizi korur ve hassas alanları botlardan gizler. Yanlış yapılandırıldığında ise tüm sitenizin indekslenmesini engelleyebilir. Bu rehber, robots.txt'nin ileri seviye kullanımını ve yaygın hataları kapsamlı olarak ele almaktadır.
Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarıyabileceklerini ve hangilerini atlamaları gerektiğini söyleyen bir metin dosyasıdır. Basit görünümüne rağmen yanlış bir yapılandırma, sitenizin tamamen indeksten çıkmasına neden olabilir.
Robots.txt Temel Yapısı
Robots.txt dosyası, kullanıcı aracısı (user-agent) grupları ve yönerge (directive) çiftlerinden oluşur:
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/
User-agent: *
Disallow: /private/
Sitemap: https://ornek.com/sitemap.xmlTemel Yönergeler
- User-agent: Kuralın hangi bot için geçerli olduğunu belirtir.
*tüm botları kapsar. - Disallow: Belirtilen yola erişimi engeller.
- Allow: Disallow kuralı içinde belirli bir alt yola erişim izni verir.
- Sitemap: Site haritasının tam URL'sini bildirir.
Wildcard Kalıplar ve İleri Düzey Eşleştirme
Robots.txt, iki önemli wildcard karakteri destekler:
Yıldız (*) — Herhangi Bir Karakter Dizisi
# Tüm .pdf dosyalarını engelle
User-agent: *
Disallow: /*.pdf$
# Tüm parametre içeren URL'leri engelle
Disallow: /*?
# Belirli bir parametre kalıbını engelle
Disallow: /*?sort=
Disallow: /*&filter=Dolar İşareti ($) — URL Sonu Eşleştirme
# Yalnızca .pdf ile biten URL'leri engelle
Disallow: /*.pdf$
# /feed ile biten URL'leri engelle, /feedback gibi olanları değil
Disallow: /feed$Kullanıcı Aracısına Özel Kurallar
Farklı botlara farklı kurallar uygulayabilirsiniz:
# Googlebot için özel kurallar
User-agent: Googlebot
Disallow: /tmp/
Allow: /tmp/public/
# Bingbot daha kısıtlı
User-agent: Bingbot
Disallow: /tmp/
Disallow: /archive/
# AI botlarını tamamen engelle
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
# Diğer tüm botlar
User-agent: *
Disallow: /admin/Allow ve Disallow Öncelik Kuralları
Aynı user-agent grubu altında hem Allow hem Disallow kuralları varsa, en uzun eşleşen yol öncelik kazanır:
User-agent: *
Disallow: /blog/
Allow: /blog/public/
# /blog/ → engellendi
# /blog/public/ → izin verildi (daha uzun eşleşme)
# /blog/public/images/ → izin verildi (Allow daha spesifik)Eşit uzunlukta eşleşmelerde Allow öncelik alır — bu Google'a özgü bir davranıştır.
Crawl-Delay Yönergesi
Bazı arama motorları (Bing, Yandex) Crawl-delay yönergesini destekler:
User-agent: Bingbot
Crawl-delay: 10Bu, Bingbot'a ardışık istekler arasında 10 saniye beklemesini söyler. Ancak Googlebot bu yönergeyi tanımaz — Google'ın tarama hızını Search Console üzerinden ayarlayabilirsiniz.
Sitemap Bildirimi
Robots.txt dosyasında sitemap URL'nizi bildirmek, botların site haritanızı kolayca bulmasını sağlar:
Sitemap: https://ornek.com/sitemap.xml
Sitemap: https://ornek.com/sitemap-posts.xml
Sitemap: https://ornek.com/sitemap-products.xmlBirden fazla sitemap bildirebilirsiniz. Bu yönerge herhangi bir user-agent grubunun dışında, dosyanın herhangi bir yerinde yer alabilir.
Yaygın Robots.txt Hataları
1. Tüm Siteyi Engelleme
# TEHLİKELİ — tüm botları engeller!
User-agent: *
Disallow: /Bu yapılandırma sitenizin tamamen indeksten çıkmasına neden olur. Test ortamı veya geliştirme sitelerinde kullanılabilir ancak canlı sitelerde asla kullanılmamalıdır.
2. CSS ve JS Dosyalarını Engelleme
Google'ın sayfanızı doğru render edebilmesi için CSS ve JavaScript dosyalarına erişim izni verilmelidir. Bu dosyaları engellemek, sayfa deneyimi değerlendirmesini olumsuz etkiler.
3. Noindex Yerine Robots.txt Kullanma
Robots.txt, bir sayfanın indekslenmesini doğrudan engellemez — yalnızca taranmasını engeller. Eğer başka bir siteden o sayfaya bağlantı varsa, Google sayfayı taramadan bile indeksleyebilir. İndekslemeyi engellemek için noindex meta etiketi kullanılmalıdır.
4. Büyük Küçük Harf Duyarlılığı
Robots.txt yolları büyük küçük harfe duyarlıdır. /Admin/ ile /admin/ farklı kurallardır.
Robots.txt Test Araçları
- Google Search Console — Robots.txt Test Aracı: Belirli URL'lerin engellenip engellenmediğini test edebilirsiniz.
- Google Rich Results Test: Sayfanızın Google tarafından nasıl görüldüğünü kontrol edebilirsiniz.
- Sunucu log analizi: Botların hangi sayfaları taradığını doğrudan görebilirsiniz.
Sıkça Sorulan Sorular
Robots.txt dosyası zorunlu mu?
Hayır, zorunlu değildir. Dosya yoksa botlar tüm sayfaları tarayabilir. Ancak tarama bütçesini yönetmek ve hassas alanları korumak için kullanılması önerilir.
Robots.txt ile hassas verileri koruyabilir miyim?
Hayır. Robots.txt yalnızca bir istek niteliğindedir — botların buna uyma zorunluluğu yoktur. Hassas veriler için sunucu taraflı kimlik doğrulama kullanın.
Sonuç
Robots.txt, basit yapısına rağmen SEO üzerinde büyük etki yaratabilen bir dosyadır. Wildcard kalıplar, öncelik kuralları ve sitemap bildirimi gibi ileri seviye özelliklerini doğru kullanarak tarama bütçenizi verimli yönetebilirsiniz. VixSEO ile sitemap ve robots.txt uyumluluğunu düzenli olarak kontrol edin.