Google'ın geliştirdiği ve kullandığı birden fazla tarayıcı vardır. Google'ın ana tarayıcısının adı Googlebot'tur. Bunun yanında reklamlar, API servisleri, görseller, haberler, video gibi farklı servisler için kullandığı başka tarayıcılar da mevcuttur. Google bu tarayıcıları üç grupta topluyor:
Genel tarayıcılar: Arama indeksi ve diğer Google ürünleri için kullanılır, robots.txt kurallarına uyar.
- Googlebot Smartphone / Googlebot Desktop: Temel indeksleme robotu
- Googlebot-Image: Görsel robotu
- Googlebot-News: Haber robotu
- Googlebot-Video: Video robotu
- Storebot-Google: Google Alışveriş için ürün ve sepet sayfalarını tarar
- Google-InspectionTool: Search Console ve Zengin Sonuç Testi gibi test araçlarının tarayıcısı
- GoogleOther (GoogleOther-Image, GoogleOther-Video): Ar-Ge ve dahili taramalar için kullanılır
Özel tarayıcılar: Belirli Google ürünleri için kullanılır.
- AdsBot-Google / AdsBot-Google-Mobile: Masaüstü ve mobil web sayfalarının reklam kalitesini denetler
- Mediapartners-Google: AdSense'e kayıtlı sitelerde kullanılır
- APIs-Google: API servis robotu
Kullanıcı tarafından tetiklenen getiriciler: Bir kullanıcının isteğiyle çalışır.
- Google Site Verifier: Search Console doğrulama işlemleri için kullanılır
- Feedfetcher: RSS ve Atom akışlarını getirir
GoogleOther Nedir?
GoogleOther, Google'ın 2023 yılında tarayıcı listesine eklediği bir tarayıcıdır. Google'da analist olarak çalışan Gary Illyes, Googlebot üzerindeki yükü azaltmak için yeni bir tarayıcıya ihtiyaç duyduklarını söyledi. İnternet sitesi sahiplerinin veya yöneticilerinin alması gereken bir aksiyon olmadığını belirterek şöyle devam etti:
"Googlebot'un nasıl ve neyi taradığını optimize ederken, Googlebot'un tarama işlerinin dahili olarak yalnızca arama motoru tarafından kullanılan dizini oluşturmak için kullanıldığından emin olmak istediğimiz bir şey vardı. Bunun için, Googlebot'un tarama kapasitesinin bir kısmını boşaltmak amacıyla Googlebot'un Ar-Ge taramaları gibi bazı diğer işlerinin yerini alacak yeni bir tarayıcı olan GoogleOther'ı ekledik."
Yeni tarayıcı Googlebot ile aynı altyapıyı kullanır ve Googlebot ile aynı sınırlamalara ve özelliklere sahiptir: sunucu üzerindeki yük sınırlamaları, robots.txt kuralları, HTTP protokolü sürümü, getirme boyutu (HTML çıktının ilk 15 MB'ı) ve adını siz koyun. Aklınıza ne tür yetenekler ve limitler geliyorsa, GoogleOther temelde farklı bir adla Googlebot'tur.
Anladığımız kadarıyla şirket içi araştırma ve geliştirme faaliyetleri, yine şirket içi farklı ihtiyaçlara yönelik kullanımlar vb. için Googlebot tarayıcısı sıkça kullanılıyordu. Bununla ilgili yaratılan yükü dağıtmak bir ihtiyaç haline gelmiş.
GoogleOther ve Yapay Zeka: Google-Extended
Bildiğiniz üzere ChatGPT ile birlikte arama motoru dünyasında yapay zekanın ilk örneklerini bing.com ve you.com ile görmüştük. Google da bu trende geç kalmayıp Bard isminde yapay zeka destekli sohbet servisini duyurmuştu. GoogleOther'ın duyurulduğu dönemde, bu tarayıcının Bard için kullanılıp kullanılmayacağı merak konusu olmuştu.
Google, Eylül 2023'te yapay zeka eğitimi için ayrı bir kontrol olan Google-Extended'ı duyurdu. Google-Extended ayrı bir tarayıcı değil, robots.txt dosyasında kullanılan bir belirteçtir. Site sahipleri bu belirteçle, içeriklerinin Gemini (eski adıyla Bard) ve Vertex AI modellerinin eğitiminde kullanılıp kullanılmayacağını kontrol edebilir.
Google-InspectionTool Nedir?
Google-InspectionTool, Google tarafından yayınlanan yardım belgesinde detayları paylaşılan bir tarayıcıdır. Bu tarayıcı, Zengin Sonuç Testi ve Search Console'daki URL Denetleme gibi Google'ın arama test araçları tarafından kullanılır ve Googlebot'u taklit eder. İnternet sitesi yöneticileri ve SEO uzmanları bu araçları kullandığında, sitelerinin Google tarafından nasıl tarandığını ve sonuçların nasıl görüntülendiğini Google-InspectionTool sayesinde görebilir.
Google yardım belgelerinde ilgili alanın ekran görüntüsü:
Google-InspectionTool genel itibarıyla Googlebot'u taklit eder, ancak yaptığı istekler dizine ekleme için kullanılmaz. Tarayıcı, sayfayı yalnızca test araçlarının ihtiyaç duyduğu bilgileri sağlamak amacıyla getirir. Google-InspectionTool, kullanıcıların web sitelerinin Google tarafından nasıl algılandığını anlamalarına ve iyileştirmeler yapmalarına yardımcı olur.
Tarayıcıya ait user-agent string'leri şu şekildedir:
Mobil
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
Masaüstü
Mozilla/5.0 (compatible; Google-InspectionTool/1.0)
Eğer sunucu kayıtlarına (access log vb.) düzenli olarak bakıyor ve bot etkinliğini analiz ediyorsanız, Google-InspectionTool'un bu kayıtlarda göründüğünü gözlemleyebilirsiniz. Test araçlarında sorunlar olduğunu fark ederseniz, Google-InspectionTool'un sitenize erişimini engellemiş olabilirsiniz. Bu nedenle erişimle ilgili sıkı kurallarınız (firewall, robots.txt vb.) varsa, Google-InspectionTool'un sitenizi tarayabilmesine izin verdiğinizden emin olmanız önemlidir.
Google Tarayıcıları Nasıl Doğrulanır? IP Aralıkları
Sunucunuza erişen bir tarayıcının, Googlebot gibi gerçekten bir Google tarayıcısı olup olmadığını doğrulamak isteyebilirsiniz. Spam gönderenlerin veya diğer sorun çıkaranların Googlebot olduklarını iddia ederek sitenize eriştiğinden endişe ettiğiniz senaryolarda, gelen isteğin gerçekten Google'dan olduğunu doğrulamak hayat kurtarıcı olabiliyor.
Google, tarayıcılarının kullandığı IP aralıklarını JSON formatında listeler halinde paylaşıyor. İlgili listelere buradan ulaşabilirsiniz. Tarayıcı gruplarına göre 3 farklı liste bulunuyor:
- Googlebot ve diğer genel tarayıcılar
- AdsBot gibi özel tarayıcılar
- Kullanıcılar tarafından tetiklenen getiriciler
GoogleOther ve Google-InspectionTool gibi genel tarayıcılar, Googlebot ile aynı IP aralıklarını kullanır. Bu listelerin yanı sıra ters DNS sorgusu (reverse DNS lookup) ile bir IP adresinin googlebot.com, google.com veya googleusercontent.com alan adlarına ait olup olmadığını da kontrol edebilirsiniz.
Bu IP aralıkları ile özellikle log analizi süreçlerinde Google tarayıcılarını daha kesin olarak tanımlayabilir ve firewall, WAF gibi uygulamalarınızda daha yönetilebilir yapılar kurabilirsiniz.
Google Algoritma Güncellemeleri, İsimleri ve Anlamları başlıklı yazımızı incelediniz mi?
