robots.txt Oluşturucu
Tarama kurallarını seçin
Robots.txt dosyası, arama motorlarına web sitenizin hangi bölümlerini tarayabileceklerini bildirir. Dosyanın doğru yapılandırılması, özel alanların korunmasına ve botların önemli sayfalara yönlendirilmesine yardımcı olur.
robots.txt dosyanızı alın
İzin vermek veya engellemek istediğiniz user-agent’ları seçin ve site haritası URL’nizi ekleyin. Araç, web sitenizin kök dizinine yerleştirebileceğiniz geçerli bir robots.txt dosyası oluşturur.
Diğer Araçlar
Robots.txt Oluşturucu Nedir?
Robots.txt Oluşturucu, basit tarama ayarlarından doğru yapıya sahip bir robots.txt dosyası hazırlar. Bu dosya, kurallara uyan arama motoru botlarının web sitesindeki hangi alanları talep edip edemeyeceğini belirtir. Genellikle bot trafiğini yönetmek ve duplicate, filtrelenmiş, yönetimsel veya düşük değerli URL kalıplarının gereksiz yere taranmasını önlemek için kullanılır.
Robots.txt, indekslenmeyi veya erişim güvenliğini değil, taramayı kontrol eder. Engellenen bir URL, arama motorları tarafından başka bağlantılar üzerinden keşfedilirse arama sonuçlarında yine de görünebilir. Gizli kalması gereken sayfalar kimlik doğrulamayla korunmalıdır. Arama sonuçlarında görünmemesi gereken sayfalarda ise uygun bir noindex yöntemi kullanılmalı ve botun bu direktifi okuyabilmesi için sayfa taranabilir bırakılmalıdır.
Robots.txt Dosyası Nasıl Oluşturulur?
Kuralların uygulanacağı user-agent’ları seçin ve izin vermek veya engellemek istediğiniz yolları tanımlayın. XML site haritanızın tam URL’sini de ekleyebilirsiniz. Araç, bu seçimleri bir araya getirerek tarayıcınızda kopyalanmaya hazır bir robots.txt dosyası oluşturur.
User-agent direktifi, kural grubunun hangi bot için geçerli olduğunu belirtir. Yıldız işareti kuralları tüm uyumlu botlara uygular, belirli bir user-agent adı ise yalnızca ilgili botu hedefler. Disallow, taranmaması gereken yolları tanımlar. Allow ise daha geniş kapsamlı olarak engellenmiş bir bölüm içindeki belirli bir yola izin vermek için kullanılabilir.
İsteğe bağlı Sitemap direktifi, botlara site haritasının konumunu bildirir. Bu alanda https://example.com/sitemap.xml gibi eksiksiz bir URL kullanılmalıdır.
Robots.txt Dosyası Nereye Eklenmelidir?
Oluşturulan dosya robots.txt adıyla kaydedilmeli ve ilgili hostname’in kök dizininde yayınlanmalıdır. Örneğin https://www.example.com/ için kuralların https://www.example.com/robots.txt adresinde erişilebilir olması gerekir. Alt dizine yerleştirilen bir dosya, web sitesinin tamamını kontrol etmez.
Kurallar dosyanın bulunduğu protokol, hostname ve port için geçerlidir. Bu nedenle farklı subdomain’lerin kendi robots.txt dosyalarına ihtiyacı olabilir.
Yayınlamadan Önce Kuralları Kontrol Edin
Küçük bir hata; önemli sayfaların, CSS ve JavaScript dosyalarının, görsellerin veya web sitesinin tamamının taranmasını istemeden engelleyebilir. Her yolu dikkatle inceleyin ve dosyayı yayınladıktan sonra önemli URL’leri test edin. Arama motorlarının sayfaları oluşturmak ve anlamak için ihtiyaç duyduğu kaynakları engellemekten kaçının.
Araç dosyanın hazırlanmasını kolaylaştırır, ancak sonucu belirleyen seçtiğiniz kurallardır. Web sitesi mimarisi, CMS, filtreli navigasyon, test ortamı veya sitemap konumu değiştiğinde robots.txt dosyasını güncelleyin. Tüm oluşturma işlemi tarayıcınızda yerel olarak gerçekleşir ve girdiğiniz kurallar harici bir sunucuya yüklenmez.
