İçindekiler
Caffein Algoritması, 2010 yılında Google tarafından duyrulmuş en büyük güncellemelerden biridir. Bu algoritma güncellemesi Google için daha verimli data taraması yapması ve daha şimdiki içeriklerin indekslenmesini (dizine alınmasını) sağlamak gayesiyle geliştirildi. Caffeine Güncellemesi, Google’ın 2003 yılında yapmış olduğu birinci büyük güncelleme olan Florida Güncellemesi’nin akabinde yapılmış en esaslı güncellemedir. Değiştirilen indeks yapısında yeni içeriklere yer verilmesinden ötürü sıralamaları önemli halde etkiledi. Güncelleme sonrasında SERP’de bulunan içeriklerin %50’si yeni içerikler tarafından oluşmaya başladı.
Google Caffeine Algoritması’nı Neden Başlattı?
“Google Caffeine Update” ismi ile de bilinen Caffeine Güncellemesi, daha şimdiki olan içeriklerin indekslemesinde tesirli bir rol oynuyor. Bu algoritmanın yaratmış olduğu en büyük fark indeksleme noktasında görülüyor. Evvelden kullanılan MapReduce motorunun yeni URL’leri fark etme ve indekse alma süreci uzun ve maliyetliydi. Caffeine Algoritması içerisinde kullanılmaya başlanan Percolator bu sürecin daha verimli ve aktüel olmasına imkan sağladı. Percolator öncesi arama sonuçları daha eski içeriklere yer veriyordu. Bu motor Google’ın tarama, data toplama ve çok süratli indeksleme yapmasına imkan tanıdı. Artık Caffeine Algoritması ve öncesinde kullanılan sistemler hakkında biraz derinlere inelim…
Neden Bu İndeks Sistemine Geçildi?
Caffeine Güncellemesi’nden evvel bir web sitesinin indekslenebilmesi için art planda uzun soluklu süreçlerden geçiliyordu. Hantal ve yavaş olan indeksleme sürecini geliştirebilmek ismine Google tarafından birçok tool (araç) geliştirilip indeks süreci de hızlandırılmaya için çalışıldı. Yeni algoritma ve araçların çıkmasını sağlayan MapReduce kavramından kelam ediyorum.
Google Arama Sonuçlarındaki Tesirleri Neler?
Caffeine Algoritması, başka algoritma güncellemelerinin tersine sıralamalarla ilgili major bir tesir yaratmadı. Pek alışılmış birtakım siteler sıralama ve organik trafik tarafında düşüşler yaşadı. Zira bu algoritma yeni içeriklerin indekslenmesinin önünü açtığı üzere web içeriklerinin yeniliğini de arttırdı. Yani bu algoritmanın hayata geçmesi akabinde daha büyük bilgiler içerisinden, daha süratli tarama yaparak, daha yeni sonuçlara yer verecek ve en şimdiki içeriklerle kullanıcıları buluşturmaktı.
Map Reduce:
Map Reduce, Google’ın indeksleyeceği büyük bilgileri katmanlı bir halde işleyen ve sunan sistemdi. Büyük data kümesini ayırarak başlayan süreç sonrasında bu dataları gruplayıp en alakalı sonucun elde edilmesi için kullanılıyordu. Bu katmanlar sırasıyla; bilgiyi ayırmak (split) için tüm web içeriğini tarama, map katmanında alakalı bilgilerin bulma, sonrasında alakalı bilgileri gruplama ve sonuç olarak arama sonuçlarının gösterildiği bir süreçti. Caffein Algortiması öncesinde kullanılan MapReduce’un çalışmasında tüm web içeriğinin taranması ve yeni sayfaların indekslenmesini zorlaştıran sürecinden ötürü Google 2010 yılında Caffein Algoritması’nı hayata geçirdi.
Percolator:
Caffein Algoritması ile hayatımıza girmiş ve web’in hantallığından arınması için kullanılmaya başlayan bir motordur. Büyük bir bilgi kümesindeki güncellemeleri artımlı olarak işlemek için geliştirilmiştir. Percolator öncesinde MapReduce kullanılıyordu ve indekslemelerde gecikmeler yaşanıyordu. MapReduce’un sınırılı indeksleyebilme kabiliyetinin geliştirilme gereksiniminden ötürü Percolator kavramı hayatımıza girmiştir. Percolator’ın öncelikli gayesi yeni içeriklerin Googlebot tarafından daha süratli taranması ve dizine eklemesidir. Güncelleme sonrası arama sonuçlarında yeni dökümanlar %50’lik bir artış gösterdi. Bu tool MapReduce üzere toplu indeksleme yapmadan indeks almak isteyen sitelere anında karşılık çevirebilen bir güncellemedir. Bu sayede hiç gecikme yaşamadan web sitelerimizi indekse alabiliriz.
Eski Google sözcüsü Matt Cutts, percolator kavramını şöyle anlatıyor:
“Caffein ve percolator ortasındaki mana bağını anlıyorsunuz. Percolator, toplu indekslemeyi beklemek yerine daha süratli indeks almayı sağlar. Yani yeni bir URL geldiğinde binlerce URL’in treni doldurmasını beklemek yerine taksiyle direkt maksada gidebilir. Toplu indekslemeden artan indekslemeye geçiş Google’ın percolatorü kullanması ile gerçekleşir. Caffeine Algortiması altında çalışan percolator bu sistemin güzel çalıştığına emin olmasına yardımcı olan bir kesimdir.”
Percolator nasıl çalışır?
Percolator, Bigtable üzerinde çalışan bir araçtır. Türkçe manası üzere süzgeç misyonu görür. Bigtable üzere çok büyük veritabanlarında bir süzgeç hakikat bilgiye ulaşma müddetini önemli biçimde azaltabilir. Bigtable, her biri birkaç tablete hizmet vermekten sorumlu olan tablet sunucuları koleksiyonundan oluşur. Bir tablet, Google 2 SSTable biçiminde salt okunur belgelerden oluşan bir koleksiyon olarak depolanır. SSTable’lar GFS‘de saklanır; Bigtable, disk kaybı durumunda dataları korumak için GFS’yi kullanır. GFS, veritabanının temel depolama motorudur. Bu da öteki sütunlardaki bilgilerin taranması gerekmediğinden taramayı daha maliyetsiz bir hale getirir.
Eski ve Yeni İndeks Yapısı Farkları Nelerdir?
Caffeine Güncellemesi öncesinde indeksleme için kullanılan MapReduce yapısındaki en büyük fark anlık olarak indeks isteği yapabilmektir. MapReduce’da bir çok farklı sitenin indeks isteğinde bulunması sonucu oluşan büyük bilgi kümesinin belli kademelerden geçerek sürece alınmasıydı. Bu yapıda SERP’de bulunan içerikler eski ve yararsız olabiliyordu. Caffeine Güncellemesi ile kullanılmaya başlayan indeks yapısında ise indeks için yapılan isteğin en az müddette karşılık vermesi isteniyordu. Google, indeks isteğine verdiği cevabı 2-3 saniyeye kadar düşürmeyi başardı.
| Percolator | Map Reduce |
| Yinelemeli indeksleme | Toplu indeksleme |
| Java Kullanılarak Tasarlandı | C++ Kullanılarak Tasarlandı |
| Anında İşlem | Uzun Süreç Süresi |
| GFS (Google Belge Sistemi) | HDFS (Hadoop Dağıtılmış Evrak Sistemi) |
| Google Tarafından Geliştirildi | Açık Kaynaklı |
| Artırımlı Güncelleme | Total Veri İşlenme Mühletince Güncelleme |
| Tarama Suratı (Saatte sürece alınan indeks isteği yüzdesi)
|
Dremel:
Büyük bilgi kümelerinin etkileşimli tahlili için dağıtılmış bir sistem olan Dremel, Google algoritmalarında dataların işlenmesi için çalışmaktadır. Dremel, daha kolay bileşenlerden oluşturulmuş özel, ölçeklenebilir bir data idaresi tahlilidir.
Google’ın Dremel’i Kullanıldığı Alanlar:
- Taranan web evraklarının tahlili.
- Google Play Store’da bulunan uygulamalar için yükleme datalarını izleme.
- Google eserleri için kilitlenme raporlaması.
- Spam olan maillerin tespit edilmesi.
- Google Haritalar’da harita işaretlemelerindeki yanlışları ayıklama.
- Bigtable’da tablet server taşıma süreçleri.
- Google’ın dağıtılmış yapı sisteminde çalıştırılan testlerin sonuçları.
- Yüz binlerce disk için I/O istatistikleri.
- Google’ın bilgi merkezlerinde yürütülen işler için kaynak izleme.
- Google’ın kod tabanındaki semboller ve yanlış kullanımları tespit etme.
Pregel:
Pregel, Bulk Synchronous Parallel modelinden esinlenmiştir. Konsept olarak MapReduce’a benzeri tarafları olsa da doğal bir grafikle API ve grafik üzerinde yinelemeli hesaplamalar yaparak çok daha verimli çalışır. Pregel’in bir öbür farkı ise durum bilgisi olan bir model uygulamasıdır. Büyük bilgi kümelerinin uzun ömürlü süreç müddeti rastgele bir sürecin data akışı modeli yerine lokal durumu hesaplar, iletir ve değiştirir. Sadece gelen dataları hesaplar ve çıktı datalarını üretir. Google PageRank Algortiması’nda da aktif bir rolü olan pregel, dataları bulunup bulunmadığı durumunu tespit etmede kullanılır. Google her ay bir çok güncelleme yayınlıyor ve kusursuza en yakın versiyon için çalışıyor. Caffeine Güncellemesi en büyük algortimik ve sistematik güncellemelerden biridir. Üstte bahsi geçen Percolator, Dremel ve Pregel toolları ile entegre bir halde çalışarak indeks sistemini çok daha süratli ve verimli bir yapıya kavuşturmuştur.
Ayrıca Kapsamlı Pagination SEO (Sayfalandırma) Rehberi isimli yazımıza da göz atabilirsiniz.
