Title: robots.txt Author: Kriko Published: 24 Mart 2021 Last modified: 12 Temmuz 2026 --- 1. [Anasayfa](https://kriko.io/tr/) / 2. [Sözlük](https://kriko.io/tr/sozluk) / 3. R Harfi # robots.txt Robot engelleme protokolü (Robots.txt), Google gibi arama motorlarının botlarına web sitenizin hangi bölümlerini ne şekilde tarayabileceğini belirtebileceğiniz txt dokümanına verilen isimdir. **Robots.txt**, web sitesinin kök dizininde yer alan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp tarayamayacaklarını bildiren metin dosyasıdır. Robot engelleme protolü olarak da bilinen bu yapı, özellikle Google, Bing ve benzeri arama motoru botlarının siteyi tararken hangi URL yollarına erişebileceğini anlamasına yardımcı olur. Robots.txt dosyası, teknik SEO açısından tarama davranışını yönlendirmek için kullanılan temel araçlardan biridir. Ancak bu dosya, sayfaların kesin olarak dizine eklenmesini veya dizinden çıkarılmasını garanti etmez. Robots.txt dosyasının temel amacı, arama motoru botlarının site içindeki belirli alanları taramasını sınırlandırmak veya yönlendirmektir. Örneğin yönetim panelleri, filtreli URL’ler, sepet sayfaları, arama sonuçları, parametreli sayfalar veya düşük değerli bazı dizinler taramaya kapatılabilir. Bu sayede arama motorlarının daha önemli sayfalara odaklanması desteklenebilir. Özellikle büyük e-ticaret siteleri, haber siteleri ve çok sayıda URL’ye sahip platformlarda robots.txt, tarama bütçesinin daha verimli kullanılmasına katkı sağlayabilir. Robots.txt çoğu zaman arama motoru botlarının siteye geldiğinde kontrol ettiği ilk dosyalardan biridir. Dosyada yer alan `User-agent`, `Disallow` ve `Allow` gibi komutlarla hangi botlara hangi yollar için izin verildiği veya engelleme yapıldığı belirtilebilir. Örneğin belirli bir dizinin taranmasını engellemek için `Disallow` komutu kullanılabilir. Bunun yanında site haritasının konumu da `Sitemap` satırıyla robots.txt içinde belirtilebilir. Robots.txt ile taramayı engellemek, ilgili sayfanın mutlaka arama sonuçlarından kaldırılacağı anlamına gelmez. Eğer bir URL başka sayfalardan bağlantı alıyorsa veya daha önce dizine eklenmişse, arama motoru bu URL’yi sınırlı bilgilerle sonuçlarda gösterebilir. Bir sayfanın arama sonuçlarında görünmesini engellemek için çoğu durumda` noindex` etiketi, HTTP header direktifi veya erişim kontrolü gibi farklı yöntemler gerekir. Bu nedenle robots.txt, indeksleme yönetimiyle karıştırılmamalıdır. Robots.txt aynı zamanda bir güvenlik önlemi olarak görülmemelidir. Bu dosya herkese açık şekilde görüntülenebilir ve kötü niyetli botlar dosyadaki kurallara uymayabilir. Bu nedenle özel, gizli veya hassas içerikler yalnızca robots.txt ile korunmamalıdır. Üyelik alanları, yönetim panelleri, kişisel veriler veya gizli dosyalar için parola koruması, yetkilendirme, sunucu taraflı erişim kontrolü ve uygun güvenlik önlemleri kullanılmalıdır. Robots.txt dosyasının doğru hazırlanması önemlidir çünkü hatalı bir kural, önemli sayfaların arama motorları tarafından taranmasını engelleyebilir. Örneğin tüm siteyi yanlışlıkla `Disallow: /` komutuyla kapatmak, arama motorlarının siteyi taramasını ciddi şekilde sınırlandırabilir. Benzer şekilde CSS ve JavaScript dosyalarının gereksiz yere engellenmesi, arama motorlarının sayfayı doğru şekilde oluşturmasını zorlaştırabilir. Bu nedenle robots.txt güncellemeleri dikkatle test edilmeli ve yayına alınmadan önce kontrol edilmelidir. Robots.txt dosyası genellikle sitenin ana domaini altında `domain.com/robots.txt` formatında bulunur. Dosya basit bir metin dosyasıdır ve UTF-8 formatında hazırlanabilir. Birden fazla alt domain kullanılıyorsa her alt domain için ayrı robots.txt dosyası gerekebilir. Örneğin `www`, `blog` veya `shop` gibi farklı alt domainler ayrı ayrı yönetiliyorsa her biri için ilgili kök dizinde robots.txt bulunmalıdır. Doğru yapılandırılmış bir **robots.txt** dosyası, arama motoru botlarının siteyi daha verimli taramasına yardımcı olur. Önemsiz veya tekrarlı URL’lerin taranmasını azaltabilir, site haritasının konumunu bildirebilir ve teknik SEO yönetimini kolaylaştırabilir. Ancak bu dosya tek başına indeksleme, güvenlik veya gizlilik çözümü değildir. Başarılı bir tarama ve indeksleme stratejisi için robots.txt, XML site haritası, canonical etiketleri, noindex direktifleri, iç bağlantı yapısı ve teknik SEO kontrolleri birlikte değerlendirilmelidir. ## Sözlükte keşfedin ### Elektronik Ticaret Kanunu (ETK) Elektronik Ticaret Kanunu (ETK), dijital ortamda B2C (Firmadan Tüketiciye), B2B ( Firmadan Firmaya) ve C2C (Tüketiciden Tüketiciye) bağlamda ticaret yapan tüm gerçek ve tüzel kişilerin menfaatini korumak amacıyla gerekli olan yasal düzenlemeler bütünüdür. ### İçerik Dağıtım Ağı (CDN) İçerik Dağıtım Ağı, herhangi bir web sitesine ait olan içeriklerin kullanıcıya en hızlı şekilde gösterilmesini sağlayan bir sistedir ve dünyanın pek çok yerine yayılmış içerik dağıtım sunucularından meydana gelir. ### Tembel Yükleme Lazy Loading, görsel yoğunluğu ve sayfa uzunluğunun fazla olduğu web sitelerinde, sayfaların daha hızlı açılmasını sağlar. ### En Büyük Görünür İçerik Ögesi (LCP) En büyük görünür içerik ögesi (Largest Contentful Paint - LCP), genellikle bir resim, video ya da büyük bir metin ögesi olur. ### Etkileşimli İçerik Etkileşimli içerik; izleyicilerin, dinleyicilerin ya da okuyucuların bir içeriği izlemenin veya okumanın ötesinde ona aktif biçimde katılımlarını sağlayan bir içerik türüdür. ### Veri Modellemesi Veri modellemesi (data modeling), bir kuruluşun / firmanın veri toplama ve ilgili yönetim sistemlerini ifade eden, tanımlayan görsel sunumlar ya da plan oluşturma sürecidir. ### Kullanıcı Arayüzü Tasarımı (UI) Kullanıcı Arayüzü Tasarımı, insanların internet tabanlı olan nesneleri en konforlu biçimde kullanabilmesini sağlayan görsel, işitsel ve dokunsal tasarım araçları olarak tanımlanır. ### SEO (Arama Motoru Optimizasyonu) Search Engine Optimization (SEO), Türkçesi ile arama motoru optimizasyonu sitelerin görünürlüğünü ve trafiğini artırmak için arama motoru botlarına uygun hale getirilmesidir. ### Oturum Oturum, en kısa haliyle, herhangi bir tarayıcı üzerinde açılan bir sayfadaki kullanıcı bilgilerinin depolandığı süreç olarak tanımlanabilir. ## Dijitalin nabzını bizimle takip et Dijital dünyayı şekillendiren seçilmiş içgörüler, haberler ve fikirlerden haberdar olmak için abone olun. Bu kutucuğu işaretleyerek [gizlilik ve aydınlatma](https://kriko.io/tr/gizlilik-politikasi) metnimizi kabul ettiğinizi onaylamış olursunuz.