Google Nasıl Çalışır? Tarama, İndeksleme ve Sıralama

Google her gün milyarlarca sorguya hızlı yanıt vermek için birçok sistem kullanır. Bu sistemler, kullanıcıların arama sorgularına ve arama niyetine göre sonuçlar sunar. Bu yazıda, bu sistemlerin bir sayfayı tespit edip dizine ekleme sürecinden ve kullanıcılara sunulan sonuçların nasıl belirlendiğinden bahsedeceğim.

Google Tarama Yapısı (Crawling)

Google, web sitelerinde bulunan sayfaları linklemeler üzerinden keşfeder ve tarar. Taranan sayfalar alaka düzeyine göre depolanır ve indekse alınır. Googlebot'un web sitesini minimum efor harcayarak taraması istenen durumdur. Bu yüzden gereksiz sayfaların dizinden kaldırılması ve başka sayfalardan linklenmemesi önemlidir. Bir sayfanın URL'si Google tarafından tespit edildiğinde, içeriğini öğrenmek amacıyla botlar sayfayı ziyaret eder. Google, hangi sayfaları ne sıklıkla tarayacağını belirlemek için kendi algoritmasından yararlanır. Ayrıca web sunucusuna fazla yük olmamak için yavaş tarayacak şekilde programlanmıştır.

Burada sık karıştırılan bir noktaya dikkat etmek gerekir: Robots.txt ile engellenen sayfalar, başka sayfalardan link alıyorsa içeriği taranmadan da arama sonuçlarına eklenebilir. Bir sayfanın dizine eklenmesini engellemek için noindex etiketi kullanılmalı ve sayfa taranabilir bırakılmalıdır.

Google, siteleri ve sayfaları taramak için sıraya alır ve sonrasında taradığı sayfaları render etmek (işlemek) için tekrar sıraya alır. Render aşamasında sayfadaki JavaScript çalıştırılarak sayfanın kullanıcıya göründüğü hali oluşturulur. Google ilk olarak bir HTTP isteğinde bulunur. İstek attığı sayfada HTTP durum kodunu ve taramaya izin verilip verilmediğini kontrol eder. İzin veriliyorsa, sonrasında HTML kodu içerisindeki tüm "href" etiketlerindeki bağlantıları kontrol eder. Google, nofollow etiketli bağlantıları genellikle takip etmez. Ancak bu etiket kesin bir komut değil, ipucu olarak değerlendirilir.

Googlebot Hangi Web Sayfalarını Taramaz?

• Robots.txt dosyasından engellenmiş dizin veya URL'ler,
• Üye girişi ile açılan sayfalar,
• Daha önce taranmış bir sayfanın kopyası olan sayfalar taranmayabilir.

Google İndeks Yapısı (Indexing)

Web, içerdiği milyarlarca sayfayla sürekli büyüyen ancak merkezi bir dosyalama sistemi bulunmayan bir kütüphane gibidir. İndeksleme sürecinin tamamı, Google'ın arama algoritması ve Googlebot tarafından, donanım hızı ve fiziksel alan gibi gerçek dünya sınırlamaları doğrultusunda ele alınır. Botlar sürekli çalışarak 100.000.000 gigabayttan büyük bir indeks oluşturur. Bu şekilde Google, görünür internetin bir haritasını çıkarır.

Google, taramış veya ziyaret etmiş olduğu sayfaları başlıklar, paragraflar, görseller, videolar gibi temel içerik etiketlerini ve web sayfasının HTML kodlarını okuyarak analiz eder. Sayfayı taramasının ardından dizine ekleme sırasında öncelikli olarak içeriğin kopya olup olmadığını kontrol eder. Sonrasında canonical etiketi gibi sinyallere bakarak benzer sayfalar arasından dizine eklenecek standart sayfayı seçer. Googlebot tarafından taranmış olan sayfanın, varsa dil seçenekleri gibi farklı varyasyonlarının sinyallerini de bu aşamada toplar. Sayfa taramasının ardından binlerce bilgisayar kullanarak Google veritabanında bu bilgileri depolar. Ayrıca depolanan sayfaların arama sonuçlarında görüntülenme garantisi yoktur.

Caffeine ve Percolator: Google’ın İndeks Altyapısı

Google bu alandaki en köklü değişimi 2010 yılında Caffeine güncellemesi ile gerçekleştirmiştir. Caffeine güncellemesi, Google'ın daha verimli veri taraması yapması ve daha güncel içeriklerin indekslenmesini (dizine alınmasını) sağlaması amacıyla geliştirildi. Caffeine bir sıralama algoritması değil, bir indeksleme altyapısı değişikliğidir. Bu nedenle diğer algoritma güncellemelerinin aksine sıralamalar üzerinde büyük bir etki yaratmadı. Google'a göre bu güncellemeyle arama sonuçları %50 daha güncel hale geldi.

MapReduce: Caffeine öncesinde kullanılan MapReduce, Google'ın indeksleyeceği büyük verileri katmanlı bir şekilde işleyen sistemdi. Büyük veri kümesini ayırarak başlayan süreç, sonrasında bu verileri gruplayıp en alakalı sonucun elde edilmesi için kullanılıyordu. Ancak bu yapıda indeks, tüm verinin toplu olarak yeniden işlenmesiyle güncelleniyordu. Bu yüzden yeni URL'leri fark etme ve indekse alma süreci uzun ve maliyetliydi, arama sonuçları da daha eski içeriklere yer veriyordu.

Percolator: Caffeine ile hayatımıza giren Percolator, büyük bir veri kümesindeki güncellemeleri artımlı olarak işlemek için geliştirilmiştir. Türkçe anlamı gibi süzgeç görevi görür. Percolator'ın öncelikli amacı, yeni içeriklerin toplu indekslemeyi beklemeden daha hızlı işlenmesi ve dizine eklenmesidir. Google'ın Bigtable veritabanı üzerinde çalışan bu sistem, verileri GFS (Google Dosya Sistemi) üzerinde saklar.

Eski Google sözcüsü Matt Cutts, Percolator kavramını şöyle anlatıyor:

"Percolator, toplu indekslemeyi beklemek yerine daha hızlı indeks almayı sağlar. Yani yeni bir URL geldiğinde binlerce URL'in treni doldurmasını beklemek yerine taksiyle doğrudan hedefe gidebilir."

Evet, eskisine nazaran siteler artık çok daha hızlı indeksleniyor. Fakat indeksleme süreci için temel taşlar halen aynı ve bu temellerin site ve sunucu tarafından doğru kurgulanmış olması oldukça önemli.

Bir Site Ne Kadar Sürede İndekslenir?

Bir internet sitesinin Google tarafından indekslenmesinde temelde 3 faktör var:

• Sitenin popülaritesi (backlink profili)
• İçeriklerin taranabilir olması (sunucu yanıt kodları ve içerik türü)
• Site yapısı ve mimarisi (özellikle internal link yapısı)

Bu parametrelere göre bir sitenin taranması ve indekslenmesi birkaç günden birkaç haftaya kadar sürebiliyor. Bazı senaryolarda bu süre daha uzun bile olabiliyor. Sitenizi Google Search Console'a eklemeniz ve bir site haritası göndermeniz bu süreyi kısaltmaya yardımcı olur. Bu yolla ilk defa kullanıma geçen bir alan adında 20.000'in üzerinde sayfanın bir gün içinde indekslenmesini tecrübe ettik. Tabii bu sürenin sitenin büyüklüğüne ve siteye (domain) atanan tarama bütçesine bağlı olduğunu da söyleyelim.

Daha Hızlı Taranma ve İndekslenme İçin Dikkat Edilmesi Gerekenler

Sunucu yanıt kodları

• Sayfalar HTTP 200 OK durum kodu dönmeli.
• Eğer sunucunuzda bir firewall varsa, arama motoru botlarını filtreleyen herhangi bir kurala sahip olmamalı.

Bir içerik olmalı

• Sayfalarınız botların görebileceği metin gibi bir içeriğe sahip olmalı.
• Tamamen görsel ya da JavaScript ile yüklenen içeriğe sahipseniz, bu durum bazen sorunlara sebep olabiliyor.

Linkleme için "normal" olan metotları kullanın

• "Normal"den kasıt, <a href="sitenin ya da sayfanın adresi">Çapa Metni</a> gibi salt HTML tabanlı linklemedir.
• JavaScript tabanlı linklemeler ya da event'ler (içi boş href, onClick event'lerine atanan aksiyonlar gibi) bazen botların ilgili linki takip edememesine sebep olabiliyor.
• Google, JavaScript taraması ile ilgili birçok geliştirme yaptı ve artık popüler birçok JS kodunu çalıştırıp linkleri takip edebiliyor. Yine de bir sorun yaşarsanız, linkleme şeklinizi klasik HTML metoduna çevirip deneyebilirsiniz.

Sayfalarınızı Google'a bildirin

• Google Search Console'a sitenizi eklemeniz, yani doğrulama işlemini yapmanız, sitenizin Google'a gönderilmesi anlamına gelmiyor.
• Önemli sayfalar için Search Console'daki URL Denetleme aracından "Dizine eklenmeyi iste" seçeneğini kullanabilirsiniz.

Keşfedilebilir olun

• Eğer mümkünse farklı internet sitelerinden sitenize linkler olsun. Link satın almanızı değil, linklerin doğal olarak oluşmasını öneririz.
• Bu sitelerin, sitenizde bahsettiğiniz konularla ilgili veya benzer yayın yapıyor olması oldukça önemli.
• Bu sitelerin kaliteli, güvenilir ve popüler siteler olmaları önemli.

Bir site haritası sağlayın

• Site haritası zorunlu olmamakla birlikte önerilir.
• Site haritaları, sayfalarınızın keşfedilmesine yardımcı olur, ancak indekslenmeyi garanti etmez.

İndekslenmeyi Engelleyen Sorunlar

Aşağıda bahsedeceğimiz konular doğrudan sitenizin indekslenmemesine sebep olabilir:

Sunucu sorunları

• Sunucu, sayfalarınız için yanlış durum kodu döndürebilir (404, 410, 500, 503 vs.).
• Sunucu çok yavaş olabilir, hatta time-out veriyor olabilir.
• Ardışık yönlendirme zincirleri oluşuyor olabilir (A → B, B → C, C → D gibi).
• Standart dışı yönlendirme metotları kullanılıyor olabilir (JavaScript vs.).

Domain sunucusu sorunları

• DNS çözümlemesi esnasında yaşanabilecek sorunlar çok ciddi problemlere sebep olabilir.

Hatalı kodlamalar

• Özellikle <head></head> kod bloğunun ciddi şekilde hatalı formatlanması önemli sorunlara sebep olabilir.

robots.txt ve meta etiketleri

• robots.txt dosyası üzerinden botları engellemiş olabilirsiniz. robots.txt hakkında detaylı bilgi almak için tıklayın.
• Sayfalarda, indekslenmeyi ve bağlantıların takip edilmesini engelleyen meta etiketi kuralları yer alıyor olabilir.
• HTTP başlığına X-Robots-Tag eklenmiş ve botlara linkleri takip etmemesi ve/veya indekslememesine yönelik bir değer atanmış olabilir.

Google Arama Sonuçlarını Nasıl Sunar? (Serving)

Bir kullanıcının yaptığı sorguda Google, veritabanında bulunan en alakalı sonuçları Arama Sonuçları Sayfası'nda (SERP) görüntüler. Burada görüntülenen sayfalar, milyonlarca sayfa arasından içeriğin alakalı olması, içerik dili, sorgunun yapıldığı konum, arama yapılan cihaz (telefon veya bilgisayar) gibi birçok faktör göz önünde bulundurularak seçilir. Örneğin "telefon tamiri" sorgusunu İstanbul'da yapan bir kullanıcıyla Barselona'da aynı aramayı yapan kişi farklı arama sonuçları görecektir. Ayrıca Google, sunulan zengin arama sonuçlarını geliştirmek ve en doğru bilgiyi kullanıcılarla buluşturmak için arama sonuçlarını kalite testlerinden geçiriyor. Bu sayede sunulan arama sonuçları her geçen gün gelişmeye devam ediyor.

Google Aramanın Temel Özellikleri

Google Arama Sonuçlarında (SERP), internet sitelerinin Google Arama'da görünmesini ve iyi performans göstermesini sağlayan bazı temel unsurlar vardır.

Teknik Koşullar

Google, sayfaları arama sonuçlarında göstermek için bazı teknik koşulların sağlanmasını bekler. Bu koşullar, sayfanın erişilebilir, içerik olarak dolu ve çalışır durumda olmasıdır:

• HTTP durum kodu 200 dönmelidir. Sayfa içeriği istemciye sunucu tarafından sorunsuz iletilmelidir.
• Googlebot taraması engellenmemiş olmalıdır. Robots.txt veya HTTP header kullanılarak sayfanın taranması engellenmemiş olmalıdır.
• Sayfa, dizine eklenebilir içeriğe sahip olmalıdır. İçerik kopya olmamalı, metin içeriği desteklenen dosya formatında olmalı ve spam politikalarını ihlal etmemelidir.

Spam Politikaları

Spam politikalarına takılmak, web sayfasının sıralamalarının düşmesine veya Google Arama'dan tamamen kaldırılmasına sebep olabilir. O nedenle spam niteliği taşıyacak uygulamalardan uzak durmak en sağlıklısı olacaktır. Spam oluşturacak uygulamaları incelemek gerekirse:

• Vadedilenden farklı içerik sunmak: Sayfa başlıkları veya görseller kullanarak kullanıcıya aradığını bulduğunu düşündürüp farklı içerik sunmak, yani kullanıcıyı kandırmak spam niteliği taşımaktadır.
• Köprü sayfalar (doorway pages): Benzer arama sorgularında sıralama almak için oluşturulan ve kullanıcıyı asıl hedef sayfaya yönlendirmekten başka işlevi olmayan sayfalardır. Kullanıcıların aradığı içeriğe ulaşma yolunu uzatan bu sayfalar spam niteliği taşımaktadır.
• Gizli metin ve bağlantı kullanımı: Metnin görünmeyecek şekilde sitede kullanımı (beyaz arka plana beyaz yazı yerleştirmek, resimlerin arkasına metin eklemek, yazı tipi boyutunu 0px olarak kurgulamak) spam politikalarını ihlal eden gizli içeriklerdir.
• Bağlantıların uygunsuz kullanımı: Satın alınan backlinkler, karşılıklı bağlantı takası yapmak, kötü içerik bulunan sayfalardan backlink almak gibi uygulamalar bu politikaları ihlal eden durumlardır. Backlink'ler hakkında detaylı bilgi için "Backlink Nedir? Ne İşe Yarar? Nasıl Alınır?" yazımızı inceleyebilirsiniz.
• Google'a otomatik sorgu göndermek: Botlarla sürekli arama yaparak sıralama kontrolü yapmak gibi, Google'a izinsiz otomatik istek göndermek; boş kaynak tüketimi yaptığı ve gerçek kullanıcılara verilen hizmet kalitesini düşürdüğü gerekçesiyle uygunsuz bir uygulamadır.
• Anahtar kelime doldurma: Anahtar kelimeleri metne doğal şekilde yerleştirmek yerine spam olacak kadar çok kullanmak, Google Arama'da politika ihlali olarak kabul edilir. Çünkü anlamsal bütünlükten çok anahtar kelimeler doldurularak oluşturulan metin, Google tarafından faydasız içerik olarak nitelendirilir.

Enter’a Basınca Google Tarafında Neler Yaşanır?

En uygun ve güvenilir bilgiyi sunmak için, yapılan sorgulara karşılık gelen arama sonuçları birden çok algoritma ve sıralama kriterinin birlikte çalışmasıyla kullanıcılarla buluşturulur. Google; sorgulanan kelime veya kelime gruplarını, sorgunun yapıldığı yer, sayfa içeriği, sorgu dili gibi faktörleri de göz önünde bulundurarak alakalı ve güvenilir içerikleri sunmak için çalışır.

Google, arama sorgularına göre tüm web dizinindeki bilgileri değerlendirip en faydalı içerikleri listeler. Google Arama Dizini'nde depolanan ve sorguya en doğru cevabı verecek olan sayfaları sıralar ve en kısa sürede kullanıcıyı doğru bilgiyle buluşturmayı amaçlar. Bu sıralama aşağıdaki aşamalardan geçerek otomatik olarak oluşturulur:

1. Sorgunun anlamı: Öncelikle yapılan aramanın niyetini belirleyerek en uygun sonuçları sıralamaya çalışır. Bu aşamada eş anlamlı kelimelerle yapılan aramalar da (bilgisayar parlaklığını değiştirme & bilgisayar parlaklığını ayarlama) birbiriyle eşleştirilir.
2. Alaka düzeyi: Web sayfaları dizine eklenirken içerikleri analiz edildiği için, arama sorgusuyla alakalı sonuçların eşleşmesi kolaylaşır. Yapılan sorguda yalnızca aratılan kelimenin bir görseli ya da sadece o kelimeden oluşmuş bir sayfa muhtemelen kullanıcıya fayda sağlamayacaktır. Bundan dolayı arama sorgusundaki kelime hakkında daha fazla bilgiyi bir arada toplamış sayfaların sıralanması daha olasıdır.
3. İçerik kalitesi: Arama sorgusundaki kelimeyi anahtar kelime olarak tanımlayıp başlıklarda yer vermek bu konuda yeterli olmayacaktır. Semantik bütünlüğü sağlamış ve kullanıcı odaklı içerik hazırlamış olan web sayfaları bu adımda öne çıkmak için bir adım öndedir.
4. Kullanılabilirlik: Yukarıdaki aşamaları geçtikten sonra, yakın olan sonuçlar arasında en iyi performansı gösteren sayfayı tespit etmek için web sayfalarının kullanılabilirlik açısından kıyaslaması yapılır. Bu aşamada web sitesi hızı, erişilebilirliği, sayfanın mobil uyumlu olması, SSL sertifikası kullanımı ve içeriğin görünür olması değerlendirilir. Sayfanın açılma ve yüklenme hızı, özellikle mobil cihazlardan gelen kullanıcıların deneyimi için önemli faktörlerden biridir.
5. Bağlam ve konum: Son sıralama aşaması olan konum bilgisi, coğrafi olarak daha doğru sonuçları sıralamak için kullanılır. Örneğin Amerika'da yapılacak "futbol" sorgusunda Amerikan futbolu hakkında içerikler sunulurken, Türkiye'de yapılacak "futbol" sorgusunda Türkiye futbol ligi ile ilgili sonuçlar sıralanacaktır.

Google Sıralama Faktörleri Nelerdir?

Google Arama Motoru, kullanıcılara minimum sürede maksimum bilgiyi vermek üzerine gelişmeye devam etmektedir. Google bunun için zengin sonuçlar (rich snippets), bilgi kartları, Google Çeviri, hava durumu gösterme aracı ve döviz çeviri aracı gibi, bir web sayfasına tıklamadan doğru bilgiyi kullanıcılarla buluşturan geliştirmeler yapar. Bu çalışmalar ve yıllardır Google tarafından yapılan güncellemeler göz önünde bulundurularak, hem kullanıcı odaklı içerik ve işaretlemeler barındıran hem de robotların kolay ve hızlı şekilde tarayabileceği web siteleri inşa etmek gerekmektedir. Şimdi öne çıkan sıralama faktörleri hakkında biraz daha derinlere inelim.

Kullanıcı Odaklı İçerik

Google, içeriklerin robotlara göre değil kullanıcılara göre oluşturulmasını istiyor. Sık kullanılan anahtar kelimeler spam niteliğinde olduğu ve kullanıcının aradığı bilgiye ulaşmasını zorlaştırdığı için Google bu konuda 2022 yılında bir güncelleme yayınladı. Oluşturulan içeriklerin amacını anlamlandırmak üzerine geliştirilmiş olan Faydalı İçerik Güncellemesi'ni "Google Algoritma Güncellemeleri, İsimleri ve Anlamları" yazımızda okuyabilirsiniz.

Mobil Uyumlu Siteler

İnternet sitesi ziyaretlerinin büyük bölümü mobil cihazlar aracılığıyla gerçekleşir. Mobil cihazlara uyumlu ve ekran çözünürlüklerine uygun (responsive) tasarımlar kullanılmalıdır. Ayrıca Google, siteleri mobil öncelikli olarak indeksliyor. Sitede gezinme, mobil tasarım ve sayfa düzeni gibi yapılar mobil deneyim kaygılarıyla tasarlanmalıdır.

Sayfa Hızı (PageSpeed Insights)

Kullanıcıları mutlu etmek ve sıralamalarda üst sıralara tırmanmak için önemli bir kriter olan sayfa yüklenme hızı, istekte bulunan kullanıcılara hızlı yanıt vermek için önemli bir sıralama faktörüdür. Kullanıcı deneyimini doğrudan etkileyen sayfa açılış hızı, görsel yüklenme hızı ve içeriklerin yüklenme hızı gibi durumları kapsar. Sunucular ve dosya transfer protokolleri bu noktada önemlidir.

URL Yapısı

Site genelinde kullanılan URL yapısı, hem kullanıcılar hem de tarama botları için anlamlı ve düzenli olmalıdır. Bu konudaki en iyi uygulama, anahtar kelimeyi içeren kısa ve anlaşılır URL'ler kullanmaktır. Detaylar için "Kalıcı Bağlantı (Permalink) Nedir? SEO Uyumlu URL Nasıl Olmalı?" yazımızı inceleyebilirsiniz.

Yapılandırılmış Veri Kullanımı

Yapılandırılmış veriler, sayfa içeriğini arama motorlarına daha anlaşılır şekilde aktarmak ve arama sonuçlarında daha kapsamlı göstermek için kullanılır. Örneğin ürün detay sayfalarında fiyat, marka, stok durumu gibi bilgileri sunmak için kullanılır. Detaylar için "Structured Data (Yapısal Veri) Nedir?" yazımızı inceleyebilirsiniz.

Site İçi Linklemeler

Site içerisinde bahsedilen konunun detayına inmek için kullanılan site içi linkler, sitede dolaşmak ve kullanıcıların sitede geçirdiği toplam süreyi artırmak için kullanılır. Ayrıca link verilen sayfayı güçlendirmek için kullanılır. Bu alanda en iyi uygulama, doğru kelimeden (anchor text) verilecek olan linklerdir.

Hiyerarşik Başlık Yapısı

Hiyerarşik başlık kullanımı, hem bilgi hiyerarşisini düzenlemek hem de botlar için anlamlı bir yapı oluşturmak için kullanılır. Başlıklarda anahtar kelimelere yer vermek bu alanda en iyi uygulamadır.

Meta Title & Description Etiketleri

Meta title etiketi, web sayfasının ana konu başlığı niteliğindedir. Tarayıcı sekmesinde görüntülenir. Sayfa sık kullanılanlara eklendiğinde başlık olarak görüntülenir. Arama motoru sonuçlarında başlık olarak görüntülenir. HTML belgesinde sadece bir <title> etiketi bulunmalıdır. Arama sonuçlarında tam görünmesi için yaklaşık 580-600px (50-60 karakter) uzunluğunda olması önerilir.

Meta description etiketi, arama sonuçları sayfasında (SERP) başlığın altında görüntülenen metin alanıdır. Bu etiket, sayfanın kısa bir açıklamasını sağlamak için kullanılır. Tam görünmesi için yaklaşık 920px (150-160 karakter) uzunluğunda olması önerilir. Aksi takdirde SERP'te açıklama tam olarak görüntülenmez. Bu etiketin içeriğinde anahtar kelimeler spam olmayacak ve anlamsal bütünlüğü koruyacak şekilde kullanılmalıdır. Google'ın title ve description'ı sorguya göre yeniden yazabileceğini de unutmamak gerekir.

Sonuç

Google, tespit ettiği sayfaları birçok faktörü gözeterek arama sonuçlarında sunuyor. Kullanıcının konumundan ve arama niyetinden dolayı kişiden kişiye değişen bir sistem kullanılıyor. Birçok doğruyu bir arada yapan ve teknik gereksinimleri tamamlanmış sayfalar Google tarafından ödüllendiriliyor.

Bir sitenin arama motoru botları tarafından taranma sıklığında, sitenin bağlantı profili önemli bir rol oynar. PageRank halen Google'ın çekirdek sistemlerinin bir parçası olduğu için sitenize ait doğal bir backlink profilinin varlığı önemini koruyor. Bunun yanı sıra yukarıda bahsettiğimiz farklı birçok parametre de sitenizin taranmasını ve indekslenmesini doğrudan etkiliyor.