kriko.io / Blog  / SEO  / Sitemin İndekslenmesi Ne Kadar Sürer?

Sitemin İndekslenmesi Ne Kadar Sürer?

Yaptığınız yatırım ve harcamaların ötesinde, efor ve geçen onlarca günün ardından sitenizi yayına aldınız. Peki ya sonrası? Google siteme ne zaman gelir ve tüm sayfalarım arama sonuçlarında ne zaman görünür olur? Google Webmaster forumlarına "Sitemin indekslenmesi ne kadar sürer?" gibi o kadar çok sorulmuş ki, hemen burada otomatik bir yanıt oluşturulmuş. Biz de bu yanıtı sizler için derledik ve üzerine de eklemeler yaptık.

Web, içerdiği milyarlarca kitapla sürekli büyüyen ancak merkezi bir dosyalama sistemi bulunmayan kitaplık gibidir. İndeksleme sürecinin tamamı, Google'ın arama algoritması ve Googlebot tarafından gerçek dünya sınırlamalarına sahip donanım hızı ve fiziksel alan doğrultusunda ele alınır. Botlar, kayıp bilginin sonsuz dijital alanlarını 100.000.000 gigabayttan fazla indeks haline getirdikçe, sürekli olarak çalışır. Bu şekilde Google, görünür İnternet'in sonsuz kütüphanesinin bir haritasını oluşturur.

Google'ın en major geçişlerinden birisi olan "Caffeine" güncellemesi ile birlikte percolator isimli yeni bir motor (engine) hayatımıza dahil oldu. Bu güncellemeyle Google'daki taze içerik oranı da %50 artmış oldu. Fakat yine de indeksleme süreci için olan mevcut temel taşlar halen aynı. Evet, eskisine nazaran siteler çok daha hızlı indeksleniyor fakat bu temellerin bir bütün olarak site/sunucu tarafından destekleniyor ve doğru kurgulanmış olması da oldukça mühim.

Bir internet sitesinin Google tarafından indekslenmesi için temelde 3 faktör var. Bunlar:

  1. Sitenin popülaritesi (backlink profili)
  2. İçeriklerin taranabilir olması (sunucu yanıt kodları ve içerik türü)
  3. Site yapısı/mimarisi (özellikle internal link yapısı)

Bu parametrelere göre bir sitenin taranması ve indekslenmesi 4 gün ile 4 hafta arası sürebiliyor. Bazı senaryolarda ise bu süre daha fazla bile olabiliyor fakat yine de bu süreyi 4 günün altına indirmek mümkün. Bunun için sitenizi Google Arama Konsoluna eklemeniz ve takibinde bir site haritası göndermeniz yeterli olacaktır. Bu yolla ilk defa kullanıma geçen bir alan adı ile 20.000 üzerinde sayfanın gün için indeklenmesini tecrübe ettik. Tabii bu süre sitenin büyüklüğüne ve siteye (domain) atanan tarama bütçesi ile doğru orantılı olduğunu da söyleyelim.

Optimum bir tarama ve indekslenme süresi için aşağıdaki konulara bilhassa dikkat etmeniz gerekiyor:

Sunucu Yanıt Kodları

  • Sayfalar HTTP 200 OK durum kodu dönmeli. HTTP başlık bilgilerinizi şu siteden kontrol edebilirsiniz.
  • Eğer sunucunuzda bir firewall varsa, botları filtreleyen herhangi bir kurala sahip olmamalı.

Bir İçerik Olmalı

  • Sayfalarınız botların görebileceği "metin" gibi içeriğe sahip olmalı.
  • Tamamen görsel, flash medya ya da JavaScript (modern bazı JS kütüphaneleri hariç) ile yüklenen içeriğe sahipseniz, bu gibi durumlar bazen sorunlara sebep olabiliyor.
  • Unutmayın ki botlar genellikle "metin" gibi objeleri okumayı tercih ediyor.

Linkleme için "Normal" Olan Metotları Kullanın

  • "Normal" 'den kasıt <a href="sitenin ya da sayfanın adresi" title="opsiyonel">Çapa Metni</a> gibi salt HTML tabanlı linklemedir.
  • JavaScript tabanlı olan linklemeler ya da eventler (içi boş olan href, OnClick eventlerine atanan aksiyonlar gibi...), bazen botların ilgili linki takip edememesine sebep olabiliyor.

Google özellikle JS taraması ile ilgili bir çok geliştirme yaptı. Artık popüler birçok JS kodunu çalıştırıp linkleri takip edebiliyor. Yine de bir sorun yaşarsanız, linkleme şeklinizi klasik HTML metoduna çevirip deneyebilirsiniz.

Sitenizi Google'a Gönderin

Keşfedilebilir Olun!

  • Eğer mümkünse farklı internet sitelerinden sitenize linkler olsun (Link satın alması değil, doğal olarak oluşmasını öneririz).
  • Bu sitelerin ise sitenizde bahsettiğiniz konularla ilgili/benzer yayın yapıyor olması oldukça önemli.
  • Bu sitelerin kaliteli/güvenilir/popüler siteler olmaları önemli.

Bir Site Haritası Sağlayın

  • Bu tamamen opsiyonel olmakla birlikte, önerilir.
  • Site haritaları sitenizin indekslenmesini garantilemez.
  • Site haritaları sitenizin taranma hızını ya da frekansını iyileştirmez.

Bunların yanı sıra dikkat etmeniz gereken farklı başlıklar da mevcut. Öyle ki aşağıda bahsedeceğimiz konular direkt olarak sitenizin indekslenmemesine sebep olabilir. Başlıca konuları şu şekilde özetleyebiliriz:

Yavaş Sunucu Yanıt Süreleri

  • Sunucu, sayfalarınız için yanlış durum kodu döndürebilir (404/410/500/503 vs.).
  • Sunucu çok yavaş ve hatta time-out veriyor olabilir.
  • Ardışık yönlendirme zincirleri oluşuyor olabilir ( A -> B ,  B -> C , C -> D , D -> E gibi..).
  • Standart dışı olan yönlendirme metotları kullanılıyor olabilir (JavaScript vs.).

Domain Sunucusu Sorunları

  • DNS çözümlemesi esnasında yaşanabilecek sorunlar, çok ciddi problemlere sebep olabilir.

Über Saçma Olan Kodlamalar

  • Özellikle <head></head> kod bloğu arasının ciddi bir şekilde hatalı formatlanması, önemli sorunlara sebep olabilir.

robots.txt / metatag

  • robots.txt dosyası üzerinden botları bloklamış olabilirsiniz. robots.txt hakkında detaylı bilgi almak için tıklayın.
  • sayfaların indekslenmemesi ve botun sayfada yer alan linkleri takip etmemesine yönelik metatag kuralları sayfalarda yer alıyor olabilir.
  • HTTP başlığına x-robots-tag dahil edilmiş ve buna yine botlara linkleri takip etmemesi ve/veya indekslememesine yönelik bir değer (value) atanmış olabilir.

Özet

Bir sitenin arama motoru botları tarafından taranması ve bunun gerçekleşme frekansı, sitenin pagerank değeri ile doğru orantılıdır. Evet, pagerank artık sıralama faktörü olarak artık hayatımızda yer almıyor olabilir ama Google'ın iç sistemlerinde farklı amaçlarla kullanımına devam ediliyor. Bu yüzden sitenize ait doğal bir backlink profilinin varlığı halen önemli. Bunun yanı sıra yukarıda bahsettiğimiz farklı bir çok parametre, yine sitenizin taranmasını doğrudan etkiliyor.

Konu hakkındaki düşüncelerinizi bizimle de paylaşın 🙂

Yorumlar: 13

  • Hüsamettin 4 Haziran 2018 16:18

    Yabancı bir SEO bloğunda google add url işleminin sadece test amaçlı kullanılması gerektiğini, fazla yapmamızın zararlı olabileceğini okumuştum.Sizce sürekli yapmak zararlı mıdır?

  • Erkan tonbul 4 Haziran 2018 16:59

    Çok güzel olmuş Uğur eline sağlık. Google gibi getir diyerek tarama isteğinde bulunmayı tavsiye etmiyor musun? Yazıda sanki göremedim.

      • Erkan tonbul 4 Haziran 2018 18:57

        Peki o bölümdeki tarama isteği linkini hangi hallerde kullanmayı tavsiye edersin.

          • Erkan tonbul 4 Haziran 2018 22:55

            Anladım, teşekkür ederim bilgilendirme için 🙂

  • Mehmet Ali 30 Haziran 2018 22:00

    Uğur Bey Merhaba,
    bu konuyla bağlantılı bir sorum var ve şu sıralar da bunu yoğunlaştırmaya başladım. Acaba hata mı yapıyorum! Şudur: her eklediğim yeni (yeni bir içerik, tabii bu, blog ya da doğrudan product page sayfası) içeriği (ki burası e-commerce bir sayfa) “Google Gibi Getir” aracını kullanarak “Dizine Eklenmesi”ni istiyorum. Google bunu 10 link ekleme ile sınırlandırmış. Devamında site:………..com olarak sorgulama yaptığından eklediğim birkaç sayfanın dizine eklenip aramalarda olduğunu görüyorum. Bu tabii, “doğru yoldasın” gibi bir his veriyor. Aynı zamanda “Veri İşaretleyici” de kullanıyorum.
    Site Haritası ile (her eklenen içerikten sonra) XML göstermek mi yoksa Google Gibi Getir aracını kullanmak mı daha doğru, tabii bu doğru, hesap ve indekslenme sağlığıyla ilgili bir şey.
    Soru belki temel bir sorudur ve bilinmesi bu işleri yapanlar için elzemdir, bilemiyorum.
    Ama evet kafamda buna yanıt bulmak var.

    Diğer yazılar için de şükranımı belirteyim, eksik etmeyin lütfen bilgi ve deneyimlerinizi.
    Selamlar.

      • Mehmet Ali 30 Haziran 2018 23:42

        Uğur Bey tekrar selam,
        eli kulağında cevabınız için teşekkürler.
        Yazıya ve andığınız yoruma tekrar baktım. “Amacı dışında kullanma” ifadesinden payımı çıkarırsam, aynı sayfayı defaaten ekleme talebinde bulunmak sorun üreten bir şey. Bu hır çıkaran bir şey olur. Doğrusu bunu yapmıyorum, ekleyip sonuçlarda çıkmamışsa, varsın çıkmasın diyorum, gidip “Veri İşaretleyici” de gördüysem ne âlâ diyorum. Fakat aynı mesajda Google Gibi Getir’in linkin çalışıp çalışmadığını kontrol etme gibi bir ifadeniz var. Diğerinde de site haritası bahsinde “simülasyon ve test” değininiz var. Google gibi Getir’i her gün kullanıyorum ve bende çıkan sonuç olumlu, eklediğim 6-7 linkten iki ya da üçü 5 dakika içerisinde google’da görünmüş oluyor. Bir de sanırım, linkin Google tarafından engellenip engellenmediğini Robots.Txt menüsünden de görebiliyoruz.

        Kafam karışmış olabilir, Google Gibi Getir’in ne işe yaradığından ziyade pratiğe sirayet eden deneyimlerdeki sonuçları merak ediyorum ben. Aslında andığım iki güzergah da (site haritası elbette temel, fakat yeni eklenen içeriklerde hızlı sonuç için Google Gibi Getir daha mı işlevsel vs.) farklı şeyler sölüyor olabilir. Burada sıklık, tekrar meselesi var galiba. Örneğin Blog sayfam için her gün birkaç içerik yayınlayacağım ve news.atom dökümanını üçer günlük arayla site haritama ekleyeceğim. Bunu yapmayı tavsiye eder misiniz?

        Belki bu meseleye dair bir yazı daha yazmak istersiniz, bu mesaj da bunun ricası olsun lütfen.
        Sıhhatle.

          • Mehmet Ali 2 Temmuz 2018 23:33

            Sanırım kafamdaki detayları netleştiren bir yanıt aldım, bunun için teşekkürler.
            Benden de, sevgilerle.

  • Halil 9 Ocak 2019 15:55

    Selamlar hocam;

    Öncelikle bu faydalı paylaşım için teşekkürler… Benim yaşamış olduğum sorun hakkında yardımcı olursanız sevinirim. Siteme içerik ekliyorum search console’da takip ediyorum dizine gönderme isteği otomatik yapılıyor fakat dizine gönderildi başarıyla işlendi yazıyor ama hareket yok örneğin dizin sayısı 110 yeni bi içerik eklediğimde 111 olması gerekiyor ama olmuyor keşfedilen url sayısı 0 olarak gösteriyor. Makalenizde robots.txt ile ilgili kısımlardaki yönergeleri harfiyen uyguladım bir sorun görünmüyor. Robots.txt tarafından egellenmiş olsa da dizine eklendi uyarısı yani kapsam sorunu alıyorum. Robots.txt tarafından tüm izinleri verdim olmadı disallow yaptım olmadı bu sorunu çözüme kavuşturamadım. Robots.txt tarafından engellenen kurmuş olduğum bir mobil tema eklentisi kaldırmak istemiyorum. Google’ın önerisi bana robots.txt’deki engeli kaldırın no index kullanın diyor, ben header’a no index eklediğim takdirde sitem hiç indekslenmeyecek. Robots.txt üzerinden no index uygulayabilirmiyim ? Eğer uygulanabilirse nasıl yapmalıyım teşekkürler.

Yorum yaz