Google’ın geliştirmiş olduğu ve kullanımda olan birden farklı tarayıcı vardır. Bunların içerisinde ve Google’ın ana tarayıcı olarak kullandığı tarayıcının ismi “Googlebot’tur ve reklamlar, API servisleri, görseller, haberler, görüntü vb. materyaller/servisler için kullandığı farklı tarayıcıları mevcuttur. Bunlara süratlice bakmak gerekirse:
- ‘Googlebot’— Temel indeksleme robotu;
- ‘APIs-Google’ — API servis robotu;
- ‘Mediapartners-Google’ — Reklam servisine kayıtlı sitelerde kullanılmak üzere;
- ‘Mediapartners (Googlebot)’ — Reklam servisine kayıtlı sitelerde kullanılmak üzere;
- ‘AdsBot-Google-Mobile’ — Android web sayfası reklam kalitesini denetim eder;
- ‘AdsBot-Google-Mobile’ — iPhone web sayfası reklam kalitesini denetim eder;
- ‘AdsBot’ — Masaüstü web sayfası reklam kalitesini denetler;
- ‘Googlebot-Image’ — Görsel robotu;
- ‘Googlebot-News’ — Haber robotu;
- ‘Googlebot-Video’ — Görüntü robotu;
- ‘AdsBot-Google-Mobile-Apps’ — Android uygulama sayfası reklam kalitesini denetim eder.
İşte bu tarayıcı listesine yeni bir tarayıcı daha dahil oldu: “GoogleOther”
GoogleOther Nedir?
Google’da analist konumunda çalışan Gary Illyes hususla ilgili “aslında googlebot üzerindeki yükü azaltmak için yeni bir tarayıcıya gereksinim duyduklarını” söyledi. İnternet sitesi sahipleri/yöneticilerinin alması gereken bir aksiyon olmamakla birlikte cümlelerine şöyle devam etti:
Googlebot’un nasıl ve neyi taradığını optimize ederken, Googlebot’un tarama işlerinin dahili olarak sadece “arama motoru” tarafından kullanılan dizini oluşturmak için kullanıldığından emin olmak istediğimiz bir şey vardı. Bunun için, Googlebot’a tarama kapasitesinin bir kısmını boşaltmak için Googlebot’un Ar-Ge taramaları üzere kimi başka işlerinin yerini alacak yeni bir tarayıcı olan GoogleOther’ı ekledik.
Yeni tarayıcı, Googlebot ile tıpkı altyapıyı kullanır ve Googlebot ile birebir sınırlamalarla birlikte özelliklere sahiptir. Sunucu üzerindeki yük sınırlamaları, robotstxt kuralları, http protokolü sürümü, getirme boyutu (HTML çıktının birinci 15MB’ı) ve ismini siz koyun daha aklınıza ne cins yetenekler ve limitler geliyorsa, temelde farklı bir isimle Googlebot.
Bildiğiniz üzere chatGPT ile birlikte arama motoru dünyasında yapay zekanın birinci örneklerini bing.com ve you.com ile görmüştük. Google da bu trende çok geç kalmayıp Bard isminde yapay zeka dayanaklı deneysel sohbet servisini yakın bir vakitte duyurmuştu. Sanıyorum başta Bard ile alakalı olmak üzere Google’ın eser takımları içerisinde ve herkesin erişebileceği farklı bir tarayıcıya olan gereksinimlerin olduğu da aşikar. Anladığımız kadarıyla şirket içi araştırma ve geliştirme faaliyetleri, yeniden şirket içi farklı gereksinimlere yönelik kullanımlar vs. için googlebot tarayıcısı sık kullanıyordu. Bununla ilgili yaratılan yükü ise dağıtmak bir muhtaçlık haline gelmiş olsa gerek. Ancak daha çok Bard ile ilgili muhtaçlıklar için “GoogleOther” ‘ın çıkarıldığını düşünsek ne kadar yanılabiliriz?
Peki Yeni IP Aralıkları Konusu Nedir?
Sunucunuza erişen rastgele bir internet tarayıcısının, Googlebot üzere hakikaten bir Google tarayıcısı olup olmadığını doğrulamak isteyebilirsiniz. Spam gönderenlerin yahut öteki sorun çıkaranların Googlebot olduklarını sav ederek sitemize eriştiğinden telaş ettiğimiz senaryolarda, gelen isteğin sahiden Google’dan olduğunu doğrulamak hayat kurtarıcı olabiliyor.
Dolayısıyla Googlebot’un kullandığı IP aralıklarının yer aldığı ve jSon formatında olan bir liste vardı. İlgili listeye buradan ulaşabilirsiniz. Artık ise adsbot üzere özel tarayıcılar ve kullanıcılar tarafından tetiklenen isteklerin gerçekleştiği IP aralıkları, farklı jSon listesi ile paylaşılıyor. Yani artık hayatımızda 3 farklı liste var:
- Googlebot
- AdsBot üzere özel tarayıcılar
- Kullanıcılar tarafından tetiklenen getirmeler (apps scripts vs.)
Özellikle kullanıcılar tarafından tetiklenen getirme istekleri için Google’ın genel IP adresi aralıklarını da not almanız gerekebilir. Ayrıyeten ve “yalnızca” Google çalışanlarının tetikleyebileceği, biraz daha karmaşık bir wget/curl usullerinin olduğunu da unutmamakta yarar var. Ama bu IP aralıkları ile bilhassa log tahlili süreçlerinde googlebot tarayıcısını daha kesin olarak tanımlayabilir ve firewall vb. siyasetlerine nazaran daha yönetilebilir yapılar kurabilirsiniz.
İnternet sayfaları dizini oluşturma (indeksleme) maksatlı kullanılmayacak olan yeni GoogleOther botunun yüksek ihtimalle Googlebot’un IP aralıklarını kullanmayacağını bildiğimiz dünyada, üstte paylaşılan 2 farklı liste ile birlikte genel IP aralıklarının olduğu IP aralıklarını firewall, WAF vb. uygulamalara tanıtmanız değerli olabilir.
Google Algoritma Güncellemeleri, İsimleri ve Manaları başlıklı yazımızı incelediniz mi?
