Title: robots.txt Author: Kriko Published: 24 Mart 2021 Last modified: 12 Temmuz 2026 --- 1. [Anasayfa](https://kriko.io/tr/) / 2. [Sözlük](https://kriko.io/tr/sozluk) / 3. R Harfi # robots.txt Robot engelleme protokolü (Robots.txt), Google gibi arama motorlarının botlarına web sitenizin hangi bölümlerini ne şekilde tarayabileceğini belirtebileceğiniz txt dokümanına verilen isimdir. **Robots.txt**, web sitesinin kök dizininde yer alan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp tarayamayacaklarını bildiren metin dosyasıdır. Robot engelleme protolü olarak da bilinen bu yapı, özellikle Google, Bing ve benzeri arama motoru botlarının siteyi tararken hangi URL yollarına erişebileceğini anlamasına yardımcı olur. Robots.txt dosyası, teknik SEO açısından tarama davranışını yönlendirmek için kullanılan temel araçlardan biridir. Ancak bu dosya, sayfaların kesin olarak dizine eklenmesini veya dizinden çıkarılmasını garanti etmez. Robots.txt dosyasının temel amacı, arama motoru botlarının site içindeki belirli alanları taramasını sınırlandırmak veya yönlendirmektir. Örneğin yönetim panelleri, filtreli URL'ler, sepet sayfaları, arama sonuçları, parametreli sayfalar veya düşük değerli bazı dizinler taramaya kapatılabilir. Bu sayede arama motorlarının daha önemli sayfalara odaklanması desteklenebilir. Özellikle büyük e-ticaret siteleri, haber siteleri ve çok sayıda URL'ye sahip platformlarda robots.txt, tarama bütçesinin daha verimli kullanılmasına katkı sağlayabilir. Robots.txt çoğu zaman arama motoru botlarının siteye geldiğinde kontrol ettiği ilk dosyalardan biridir. Dosyada yer alan `User-agent`, `Disallow` ve `Allow` gibi komutlarla hangi botlara hangi yollar için izin verildiği veya engelleme yapıldığı belirtilebilir. Örneğin belirli bir dizinin taranmasını engellemek için `Disallow` komutu kullanılabilir. Bunun yanında site haritasının konumu da `Sitemap` satırıyla robots.txt içinde belirtilebilir. Robots.txt ile taramayı engellemek, ilgili sayfanın mutlaka arama sonuçlarından kaldırılacağı anlamına gelmez. Eğer bir URL başka sayfalardan bağlantı alıyorsa veya daha önce dizine eklenmişse, arama motoru bu URL'yi sınırlı bilgilerle sonuçlarda gösterebilir. Bir sayfanın arama sonuçlarında görünmesini engellemek için çoğu durumda` noindex` etiketi, HTTP header direktifi veya erişim kontrolü gibi farklı yöntemler gerekir. Bu nedenle robots.txt, indeksleme yönetimiyle karıştırılmamalıdır. Robots.txt aynı zamanda bir güvenlik önlemi olarak görülmemelidir. Bu dosya herkese açık şekilde görüntülenebilir ve kötü niyetli botlar dosyadaki kurallara uymayabilir. Bu nedenle özel, gizli veya hassas içerikler yalnızca robots.txt ile korunmamalıdır. Üyelik alanları, yönetim panelleri, kişisel veriler veya gizli dosyalar için parola koruması, yetkilendirme, sunucu taraflı erişim kontrolü ve uygun güvenlik önlemleri kullanılmalıdır. Robots.txt dosyasının doğru hazırlanması önemlidir çünkü hatalı bir kural, önemli sayfaların arama motorları tarafından taranmasını engelleyebilir. Örneğin tüm siteyi yanlışlıkla `Disallow: /` komutuyla kapatmak, arama motorlarının siteyi taramasını ciddi şekilde sınırlandırabilir. Benzer şekilde CSS ve JavaScript dosyalarının gereksiz yere engellenmesi, arama motorlarının sayfayı doğru şekilde oluşturmasını zorlaştırabilir. Bu nedenle robots.txt güncellemeleri dikkatle test edilmeli ve yayına alınmadan önce kontrol edilmelidir. Robots.txt dosyası genellikle sitenin ana domaini altında `domain.com/robots.txt` formatında bulunur. Dosya basit bir metin dosyasıdır ve UTF-8 formatında hazırlanabilir. Birden fazla alt domain kullanılıyorsa her alt domain için ayrı robots.txt dosyası gerekebilir. Örneğin `www`, `blog` veya `shop` gibi farklı alt domainler ayrı ayrı yönetiliyorsa her biri için ilgili kök dizinde robots.txt bulunmalıdır. Doğru yapılandırılmış bir **robots.txt** dosyası, arama motoru botlarının siteyi daha verimli taramasına yardımcı olur. Önemsiz veya tekrarlı URL'lerin taranmasını azaltabilir, site haritasının konumunu bildirebilir ve teknik SEO yönetimini kolaylaştırabilir. Ancak bu dosya tek başına indeksleme, güvenlik veya gizlilik çözümü değildir. Başarılı bir tarama ve indeksleme stratejisi için robots.txt, XML site haritası, canonical etiketleri, noindex direktifleri, iç bağlantı yapısı ve teknik SEO kontrolleri birlikte değerlendirilmelidir. ## Sözlükte keşfedin ### Viral İçerik Viral içerik, kullanıcıların kendi isteği ile ürettiği içerikleri internet üzerinde paylaşmaları sonucu hızla yayılan içerik türüdür. ### Data Mart Data mart, bir kurumun hızlı ve pratik bir şekilde bilgi ihtiyaçlarını karşılamak amacıyla tasarlanan bir veri modelleme şeklidir. ### Müşteri Yolculuğu Haritası Müşteri yolculuğu haritası (Customer Journey Map), müşterilerin bir markanın ürün ya da hizmetlerini kullanırken yaşayacağı deneyimlerin haritalandırılmasıdır. ### Net Tavsiye Skoru (NPS) Net tavsiye skoru, bir markayla deneyim yaşamış kişilerin o markayla ilgili genel algısını ve memnuniyetini bir arada gösterebilen bir ölçümleme sonucu olarak tanımlanabilir. ### Ağızdan Ağza Pazarlama (WOMM) Ağızdan ağza pazarlama (Word Of Mouth Marketing - WOMM) müşterinin, bir ürün / hizmet ya da firma hakkında yakın çevresi ile paylaştığı deneyimleri anlamına gelir. ### Geri Bildirim SEO açısından geri bildirim, kullanıcılara yapılan eylemle ilgili sistem tarafından verilen bilgi ya da bildirimlerdir. ### Mobil Öncelikli Dizin (Mobile-First Indexing) Mobil öncelikli dizin, web sitelerinin mobil sürümünün Google tarafından öncelikli olarak indeksleneceği anlamını taşır. ### Operasyonel Dayanıklılık İşletme esnekliği, bir işletmenin olası sorunlar karşısında işleyişini devam ettirmesine denilmektedir. Operasyonel dayanıklılık olarak da bilinen bu kavram, işletmeler tarafında iş akışları kesintisiz bir şekilde sürdürülürken zorluklara ve değişikliklere dayanma, uyum sağlama becerisidir. ### Debrief Debrief, bir iş ya da proje hakkında verilen brief üzerine fikir alışverişi yapmak amacıyla tarafların bir araya geldiği bilgi alma toplantısıdır. ## Dijitalin nabzını bizimle takip et Dijital dünyayı şekillendiren seçilmiş içgörüler, haberler ve fikirlerden haberdar olmak için abone olun. Bu kutucuğu işaretleyerek [gizlilik ve aydınlatma](https://kriko.io/tr/gizlilik-politikasi) metnimizi kabul ettiğinizi onaylamış olursunuz.