Robots.txt Oluşturucu
Arama motorları için robots.txt dosyaları oluşturun
Tarayıcı kuralları
Bir başlangıç şablonu seçin, ardından tarayıcı erişimini ve yol istisnalarını düzenleyin.
Kural grupları
Grup 1
Disallow · engellenen yollar
Allow · istisnalar
robots.txt dosyanız
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Önizleme güncellendi. Yayınlamadan önce kurallarınızı gözden geçirin.
Web sitenize kurun
- Oluşturulan içeriği kopyalayın veya indirin.
- İçeriği robots.txt adlı bir UTF-8 metin dosyasına kaydedin.
- Dosyayı eşleşen ana makinenin, protokolün ve portun kök dizinine yükleyin.
- yoursite.com/robots.txt adresini ziyaret edip içeriğini doğrulayın.
- Yayınladıktan sonra Search Console'daki robots.txt raporunu inceleyin.
Yayınlamadan önce
- robots.txt taramayı denetler. Engellenen bir URL yine de arama sonuçlarında görünebilir.
- noindex kullanmak için tarayıcının sayfayı almasına ve meta etiketini veya yanıt başlığını okumasına izin verin.
- Özel ve hazırlık sayfalarını kimlik doğrulamayla koruyun, robots.txt herkese açık okunabilir.
- Sayfalarınızı işlemek için gereken CSS ve JavaScript dosyalarını taranabilir tutun.
- Her şablonu kendi URL yapınıza göre kontrol edin.
- Farklı tarayıcılar için farklı kurallar gerektiğinde belirli user-agent değerlerini kullanın.
- Yollar büyük/küçük harf duyarlıdır, * joker karakterdir ve $ URL'nin sonunu belirtir.
Disallow · engellenen yollar
Allow · istisnalar
Robots.txt Oluşturucu hakkında
Bu Robots.txt Oluşturucu, web siteniz için doğru biçimlendirilmiş robots.txt dosyaları oluşturmanıza yardımcı olan ücretsiz bir çevrimiçi araçtır. robots.txt dosyası, arama motoru tarayıcılarına hangi sayfalara veya dizinlere erişebileceklerini ya da erişemeyeceklerini söyleyen teknik SEO'nun temel bir bileşenidir. Tarayıcı kuralları, seçilen yollara yapılan istekleri azaltabilir. Engellenen URL'ler arama sonuçlarında yine de görünebilir ve özel alanlar robots.txt yerine kimlik doğrulama gerektirir.
Bir web sitesi, tarayıcı kuralları gerektiğinde barındırıldığı sunucunun kökünde bir robots.txt dosyası kullanabilir. Siteler bu dosya olmadan da taramaya izin verebilir. Bu oluşturucu yaygın şablonlar, birden fazla user-agent grubu ve isteğe bağlı site haritası ve gecikme alanları sunar; bunları sitenizin kendi yollarına göre inceleyin.
İster blog, e-ticaret mağazası, kurumsal web sitesi veya SaaS uygulaması yönetin, bu Robots.txt Oluşturucu tarayıcı kurallarını görsel olarak yapılandırmanıza, oluşturulan dosyayı gerçek zamanlı önizlemenize ve tek tıkla kopyalamanıza olanak tanır. Kuralları düzenlemek için kodlama gerekmez. Yönerge desteği tarayıcıya göre değişir: Google, User-agent, Allow, Disallow ve Sitemap yönergelerini destekler; isteğe bağlı gecikme ve eski Host alanları ise yok sayılabilir.
Temel özellikler
- Temel web siteleri, kısıtlayıcı yapılandırmalar, WordPress blogları ve e-ticaret mağazaları için hızlı şablonlar
- Farklı user-agent'ları destekleyen birden fazla tarayıcı kuralı (Googlebot, Bingbot, Yandex ve daha fazlası)
- Her kural için sınırsız girişle Allow ve Disallow yol yapılandırması
- Arama motorlarının keşfini iyileştirmek için site haritası URL başvuru alanı
- Dikkate alan botlar için Crawl-delay ayarı (Bing ve Yandex dikkate alır; Google yok sayar)
- Eski Yandex yapılandırmaları için isteğe bağlı eski Host satırı (Yandex 2018'den beri kullanmıyor; alan adını standartlaştırmak için 301 yönlendirmesi kullanın)
- Oluşturulan robots.txt dosyasının gerçek zamanlı önizlemesi
- Hızlı uygulama için tek tıkla panoya kopyalama
- Adım adım kurulum talimatları dahil
- Google, Bing, Yandex, Baidu ve DuckDuckGo tarayıcılarıyla uyumlu
Nasıl kullanılır?
- Bir şablon seçin: Yaygın kuralları önceden doldurmak için hızlı bir şablon (Temel, Kısıtlayıcı, WordPress blogu veya E-ticaret) seçin ya da sıfırdan başlayın.
- Tarayıcı kurallarını yapılandırın: user-agent değerini ayarlayın, engellemek istediğiniz dizinler için Disallow yolları ve istisnalar için Allow yolları ekleyin.
- Genel seçenekleri ayarlayın: Genel ayarlar bölümüne site haritası URL'nizi ve gerekiyorsa tarama gecikmesini girin.
- Çıktıyı önizleyin: Oluşturulan robots.txt dosyasını sağdaki gerçek zamanlı önizleme panelinde inceleyin.
- Kopyalayın ve uygulayın: Dosya içeriğini kopyalamak için Kopyala düğmesine tıklayın, ardından web sitenizin kök dizinine “robots.txt” olarak kaydedin.
- Test edin ve doğrulayın: Yükledikten sonra Google'ın dosyanızı aldığını ve ayrıştırdığını doğrulamak için Google Search Console'da robots.txt raporunu (Ayarlar) kontrol edin.
Kullanım alanları
- Tarama bütçesi optimizasyonu: Tarayıcıların dikkatini önemli içeriğe yönlendirmek için yönetim panelleri, arama sonuçları ve etiket arşivleri gibi düşük değerli sayfaları engelleyin.
- Yinelenen içeriği önleme: Yinelenen içerik oluşturan sayfalandırılmış sayfalara, filtrelenmiş görünümlere ve çok parametreli URL'lere erişimi engelleyin.
- Sunucu yükü yönetimi: Bingbot ve YandexBot gibi dikkate alan botları yavaşlatmak için tarama gecikmesi ayarlayın (Googlebot, Crawl-delay yönergesini yok sayar).
- Hazırlık sitesini koruma: Geliştirme veya hazırlık ortamlarına erişimi kısıtlamak için kimlik doğrulama kullanın. robots.txt tek başına bu ortamların URL'lerinin dizine eklenmesini önlemez.
- WordPress optimizasyonu: Sayfaların işlenebilmesi ve resimlerin dizine eklenebilmesi için admin-ajax.php, temalar ve yüklemeleri taranabilir tutarken wp-admin ve site içi arama sonuçlarını engelleyin.
- E-ticaret ayarları: Ürün ve kategori sayfalarına izin verirken sepet, ödeme, hesap ve API uç noktalarının taranmasını önleyin.
Sıkça sorulan sorular
Bu araç ücretsiz mi?
Evet, Robots.txt Oluşturucu tamamen ücretsizdir; kayıt veya kullanım sınırı yoktur. İhtiyacınız olduğu kadar dosya oluşturup kopyalayın.
Verilerim güvende mi?
Tüm yapılandırma tarayıcınızda gerçekleşir. Hiçbir sunucuya veri gönderilmez. robots.txt içeriği tamamen istemci tarafında oluşturulur.
robots.txt dosyasını nereye yerleştirmeliyim?
robots.txt dosyası web sitenizin kök dizinine yerleştirilmelidir. Örneğin, arama motorlarının bulabilmesi için https://yourdomain.com/robots.txt adresinden erişilebilir olmalıdır.
robots.txt sayfaların dizine eklenmesini engelleyebilir mi?
Engellenen bir URL arama sonuçlarında yine de görünebilir. noindex ile dizine eklemeyi önlemek için tarayıcının sayfayı almasına ve meta etiketini veya X-Robots-Tag yanıt başlığını okumasına izin verin. Kimlik doğrulama özel sayfaları koruyabilir.
CSS ve JavaScript dosyalarını engellemeli miyim?
Hayır. Google, sayfalarınızı doğru işlemek için CSS ve JavaScript dosyalarına erişmelidir. Bunları engellemek SEO'nuza zarar verebilir çünkü Google sayfa düzeninizi ve içeriğinizi doğru değerlendiremez.
robots.txt bir güvenlik önlemi midir?
Hayır. robots.txt dosyası herkese açıktır ve yalnızca kurallara uyan tarayıcılara öneri sunar. Hassas bilgileri korumak için asla ona güvenmeyin. Bunun yerine sunucu tarafında kimlik doğrulama ve erişim kontrolleri kullanın.
İpuçları ve en iyi uygulamalar
- Site haritanızı her zaman ekleyin: Sitemap yönergesi eklemek, arama motorlarının tüm önemli sayfalarınızı daha hızlı keşfetmesine yardımcı olur.
- Uyguladıktan sonra test edin: Önemli sayfaların yanlışlıkla engellenmediğini doğrulamak için Google Search Console'daki robots.txt raporunu ve URL Denetleme aracını kullanın.
- Yolları açıkça belirtin: Değerli içeriği yanlışlıkla engellememek için geniş kalıplar yerine kesin dizin yolları kullanın.
- Hedefe özel user-agent'lar kullanın: Google ve Bing için farklı kurallar gerekiyorsa belirli user-agent adlarıyla ayrı kural blokları oluşturun.
- Düzenli inceleyin: Yeni bölümler eklediğinizde, URL yapılarını değiştirdiğinizde veya web sitenizi taşıdığınızda robots.txt dosyanızı güncelleyin.
- Joker karakterleri dikkatsizce kullanmayın: * joker karakteri ve $ URL sonu işaretçisi güçlüdür ancak yanlış kullanıldığında önemli sayfaları istemeden engelleyebilir.