Google’ın geliştirmiş olduğu ve kullanımda olan birden farklı tarayıcı vardır. Bunların içerisinde ve Google’ın ana tarayıcı olarak kullandığı tarayıcının adı “Googlebot’tur ve reklamlar, API servisleri, görseller, haberler, video vb. materyaller/servisler için kullandığı farklı tarayıcıları mevcuttur. Bunlara hızlıca bakmak gerekirse:
- ‘Googlebot’— Temel indeksleme robotu;
- ‘APIs-Google’ — API servis robotu;
- ‘Mediapartners-Google’ — Reklam servisine kayıtlı sitelerde kullanılmak üzere;
- ‘Mediapartners (Googlebot)’ — Reklam servisine kayıtlı sitelerde kullanılmak üzere;
- ‘AdsBot-Google-Mobile’ — Android web sayfası reklam kalitesini kontrol eder;
- ‘AdsBot-Google-Mobile’ — iPhone web sayfası reklam kalitesini kontrol eder;
- ‘AdsBot’ — Masaüstü web sayfası reklam kalitesini denetler;
- ‘Googlebot-Image’ — Görsel robotu;
- ‘Googlebot-News’ — Haber robotu;
- ‘Googlebot-Video’ — Video robotu;
- ‘AdsBot-Google-Mobile-Apps’ — Android uygulama sayfası reklam kalitesini kontrol eder.
İşte bu tarayıcı listesine yeni bir tarayıcı daha dahil oldu: “GoogleOther”
GoogleOther Nedir?
Google’da analist pozisyonunda çalışan Gary Illyes konuyla ilgili “aslında googlebot üzerindeki yükü azaltmak için yeni bir tarayıcıya ihtiyaç duyduklarını” söyledi. İnternet sitesi sahipleri/yöneticilerinin alması gereken bir aksiyon olmamakla birlikte cümlelerine şöyle devam etti:
Googlebot’un nasıl ve neyi taradığını optimize ederken, Googlebot’un tarama işlerinin dahili olarak yalnızca “arama motoru” tarafından kullanılan dizini oluşturmak için kullanıldığından emin olmak istediğimiz bir şey vardı. Bunun için, Googlebot’a tarama kapasitesinin bir kısmını boşaltmak için Googlebot’un Ar-Ge taramaları gibi bazı diğer işlerinin yerini alacak yeni bir tarayıcı olan GoogleOther’ı ekledik.
Yeni tarayıcı, Googlebot ile aynı altyapıyı kullanır ve Googlebot ile aynı sınırlamalarla birlikte özelliklere sahiptir. Sunucu üzerindeki yük sınırlamaları, robotstxt kuralları, http protokolü sürümü, getirme boyutu (HTML çıktının ilk 15MB’ı) ve adını siz koyun daha aklınıza ne tür yetenekler ve limitler geliyorsa, temelde farklı bir adla Googlebot.
Bildiğiniz üzere chatGPT ile birlikte arama motoru dünyasında yapay zekanın ilk örneklerini bing.com ve you.com ile görmüştük. Google da bu trende çok geç kalmayıp Bard isminde yapay zeka destekli deneysel sohbet servisini yakın bir zamanda duyurmuştu. Sanıyorum başta Bard ile ilişkili olmak üzere Google’ın ürün ekipleri içerisinde ve herkesin erişebileceği farklı bir tarayıcıya olan ihtiyaçların olduğu da aşikar. Anladığımız kadarıyla şirket içi araştırma ve geliştirme faaliyetleri, yine şirket içi farklı ihtiyaçlara yönelik kullanımlar vs. için googlebot tarayıcısı sık kullanıyordu. Bununla ilgili yaratılan yükü ise dağıtmak bir ihtiyaç haline gelmiş olsa gerek. Fakat daha çok Bard ile ilgili ihtiyaçlar için “GoogleOther” ‘ın çıkarıldığını düşünsek ne kadar yanılabiliriz?
Peki Yeni IP Aralıkları Konusu Nedir?
Sunucunuza erişen herhangi bir internet tarayıcısının, Googlebot gibi gerçekten bir Google tarayıcısı olup olmadığını doğrulamak isteyebilirsiniz. Spam gönderenlerin veya diğer sorun çıkaranların Googlebot olduklarını iddia ederek sitemize eriştiğinden endişe ettiğimiz senaryolarda, gelen isteğin gerçekten Google’dan olduğunu doğrulamak hayat kurtarıcı olabiliyor.
Dolayısıyla Googlebot’un kullandığı IP aralıklarının yer aldığı ve jSon formatında olan bir liste vardı. İlgili listeye buradan ulaşabilirsiniz. Şimdi ise adsbot gibi özel tarayıcılar ve kullanıcılar tarafından tetiklenen isteklerin gerçekleştiği IP aralıkları, farklı jSon listesi ile paylaşılıyor. Yani artık hayatımızda 3 farklı liste var:
- Googlebot
- AdsBot gibi özel tarayıcılar
- Kullanıcılar tarafından tetiklenen getirmeler (apps scripts vs.)
Özellikle kullanıcılar tarafından tetiklenen getirme istekleri için Google’ın genel IP adresi aralıklarını da not almanız gerekebilir. Ayrıca ve “yalnızca” Google çalışanlarının tetikleyebileceği, biraz daha karmaşık bir wget/curl yöntemlerinin olduğunu da unutmamakta fayda var. Fakat bu IP aralıkları ile özellikle log analizi süreçlerinde googlebot tarayıcısını daha kesin olarak tanımlayabilir ve firewall vb. politikalarına göre daha yönetilebilir yapılar kurabilirsiniz.
İnternet sayfaları dizini oluşturma (indeksleme) amaçlı kullanılmayacak olan yeni GoogleOther botunun yüksek ihtimalle Googlebot’un IP aralıklarını kullanmayacağını bildiğimiz dünyada, yukarıda paylaşılan 2 farklı liste ile birlikte genel IP aralıklarının olduğu IP aralıklarını firewall, WAF vb. uygulamalara tanıtmanız önemli olabilir.
Google Algoritma Güncellemeleri, İsimleri ve Anlamları başlıklı yazımızı incelediniz mi?
