Yaptığınız yatırım ve harcamaların ötesinde, efor ve geçen onlarca günün ardından sitenizi yayına aldınız. Peki ya sonrası? Google siteme ne zaman gelir ve tüm sayfalarım arama sonuçlarında ne zaman görünür olur? Google Webmaster forumlarına “Sitemin indekslenmesi ne kadar sürer?” gibi o kadar çok sorulmuş ki, hemen burada otomatik bir yanıt oluşturulmuş. Biz de bu yanıtı sizler için derledik ve üzerine de eklemeler yaptık.
Web, içerdiği milyarlarca kitapla sürekli büyüyen ancak merkezi bir dosyalama sistemi bulunmayan kitaplık gibidir. İndeksleme sürecinin tamamı, Google’ın arama algoritması ve Googlebot tarafından gerçek dünya sınırlamalarına sahip donanım hızı ve fiziksel alan doğrultusunda ele alınır. Botlar, kayıp bilginin sonsuz dijital alanlarını 100.000.000 gigabayttan fazla indeks haline getirdikçe, sürekli olarak çalışır. Bu şekilde Google, görünür İnternet’in sonsuz kütüphanesinin bir haritasını oluşturur.
Google’ın en major geçişlerinden birisi olan “Caffeine” güncellemesi ile birlikte percolator isimli yeni bir motor (engine) hayatımıza dahil oldu. Bu güncellemeyle Google’daki taze içerik oranı da %50 artmış oldu. Fakat yine de indeksleme süreci için olan mevcut temel taşlar halen aynı. Evet, eskisine nazaran siteler çok daha hızlı indeksleniyor fakat bu temellerin bir bütün olarak site/sunucu tarafından destekleniyor ve doğru kurgulanmış olması da oldukça mühim.
Bir internet sitesinin Google tarafından indekslenmesi için temelde 3 faktör var. Bunlar:
- Sitenin popülaritesi (backlink profili)
- İçeriklerin taranabilir olması (sunucu yanıt kodları ve içerik türü)
- Site yapısı/mimarisi (özellikle internal link yapısı)
Bu parametrelere göre bir sitenin taranması ve indekslenmesi 4 gün ile 4 hafta arası sürebiliyor. Bazı senaryolarda ise bu süre daha fazla bile olabiliyor fakat yine de bu süreyi 4 günün altına indirmek mümkün. Bunun için sitenizi Google Arama Konsoluna eklemeniz ve takibinde bir site haritası göndermeniz yeterli olacaktır. Bu yolla ilk defa kullanıma geçen bir alan adı ile 20.000 üzerinde sayfanın gün için indeklenmesini tecrübe ettik. Tabii bu süre sitenin büyüklüğüne ve siteye (domain) atanan tarama bütçesi ile doğru orantılı olduğunu da söyleyelim.
Optimum bir tarama ve indekslenme süresi için aşağıdaki konulara bilhassa dikkat etmeniz gerekiyor:
Sunucu Yanıt Kodları
- Sayfalar HTTP 200 OK durum kodu dönmeli. HTTP başlık bilgilerinizi şu siteden kontrol edebilirsiniz.
- Eğer sunucunuzda bir firewall varsa, botları filtreleyen herhangi bir kurala sahip olmamalı.
Bir İçerik Olmalı
- Sayfalarınız botların görebileceği “metin” gibi içeriğe sahip olmalı.
- Tamamen görsel, flash medya ya da JavaScript (modern bazı JS kütüphaneleri hariç) ile yüklenen içeriğe sahipseniz, bu gibi durumlar bazen sorunlara sebep olabiliyor.
- Unutmayın ki botlar genellikle “metin” gibi objeleri okumayı tercih ediyor.
Linkleme için “Normal” Olan Metotları Kullanın
- “Normal” ‘den kasıt <a href=”sitenin ya da sayfanın adresi” title=”opsiyonel”>Çapa Metni</a> gibi salt HTML tabanlı linklemedir.
- JavaScript tabanlı olan linklemeler ya da eventler (içi boş olan href, OnClick eventlerine atanan aksiyonlar gibi…), bazen botların ilgili linki takip edememesine sebep olabiliyor.
Google özellikle JS taraması ile ilgili bir çok geliştirme yaptı. Artık popüler birçok JS kodunu çalıştırıp linkleri takip edebiliyor. Yine de bir sorun yaşarsanız, linkleme şeklinizi klasik HTML metoduna çevirip deneyebilirsiniz.
Sitenizi Google’a Gönderin
- Google Search Konsoluna sitenizi eklemeniz yani verification işlemini yapmanız sitenizin Google’a gönderilmesi anlamına gelmiyor.
- Bunun için şu aracı kullanın: https://www.google.com/webmasters/tools/submit-url?continue=/addurl
Keşfedilebilir Olun!
- Eğer mümkünse farklı internet sitelerinden sitenize linkler olsun (Link satın alması değil, doğal olarak oluşmasını öneririz).
- Bu sitelerin ise sitenizde bahsettiğiniz konularla ilgili/benzer yayın yapıyor olması oldukça önemli.
- Bu sitelerin kaliteli/güvenilir/popüler siteler olmaları önemli.
Bir Site Haritası Sağlayın
- Bu tamamen opsiyonel olmakla birlikte, önerilir.
- Site haritaları sitenizin indekslenmesini garantilemez.
- Site haritaları sitenizin taranma hızını ya da frekansını iyileştirmez.
Bunların yanı sıra dikkat etmeniz gereken farklı başlıklar da mevcut. Öyle ki aşağıda bahsedeceğimiz konular direkt olarak sitenizin indekslenmemesine sebep olabilir. Başlıca konuları şu şekilde özetleyebiliriz:
Yavaş Sunucu Yanıt Süreleri
- Sunucu, sayfalarınız için yanlış durum kodu döndürebilir (404/410/500/503 vs.).
- Sunucu çok yavaş ve hatta time-out veriyor olabilir.
- Ardışık yönlendirme zincirleri oluşuyor olabilir ( A -> B , B -> C , C -> D , D -> E gibi..).
- Standart dışı olan yönlendirme metotları kullanılıyor olabilir (JavaScript vs.).
Domain Sunucusu Sorunları
- DNS çözümlemesi esnasında yaşanabilecek sorunlar, çok ciddi problemlere sebep olabilir.
Über Saçma Olan Kodlamalar
- Özellikle <head></head> kod bloğu arasının ciddi bir şekilde hatalı formatlanması, önemli sorunlara sebep olabilir.
robots.txt / metatag
- robots.txt dosyası üzerinden botları bloklamış olabilirsiniz. robots.txt hakkında detaylı bilgi almak için tıklayın.
- sayfaların indekslenmemesi ve botun sayfada yer alan linkleri takip etmemesine yönelik metatag kuralları sayfalarda yer alıyor olabilir.
- HTTP başlığına x-robots-tag dahil edilmiş ve buna yine botlara linkleri takip etmemesi ve/veya indekslememesine yönelik bir değer (value) atanmış olabilir.
Özet
Bir sitenin arama motoru botları tarafından taranması ve bunun gerçekleşme frekansı, sitenin pagerank değeri ile doğru orantılıdır. Evet, pagerank artık sıralama faktörü olarak artık hayatımızda yer almıyor olabilir ama Google’ın iç sistemlerinde farklı amaçlarla kullanımına devam ediliyor. Bu yüzden sitenize ait doğal bir backlink profilinin varlığı halen önemli. Bunun yanı sıra yukarıda bahsettiğimiz farklı bir çok parametre, yine sitenizin taranmasını doğrudan etkiliyor.
