Tarama, İndeks, Sıralama… Google Nasıl Çalışır?

Google her gün milyarlarca sorguya kusursuz ve süratli karşılık vermek için birçok sistem kullanır. Bu sistemler kullanıcıların arama sorguları ve arama niyetine nazaran sonuçlar sunar. Bu yazıda bu sistemlerin bir sayfayı tespit edip dizine ekleme sürecinin nasıl olduğundan ve kullanıcılara sunulan sonuçların süreçlerinden bahsececeğim.

Google Tarama Yapısı (Crawling)

Google, web sitelerinde bulunan sayfaları linklemeler üzerinden keşfeder ve tarar. Taranan sayfalar alaka seviyesine nazaran depolanır ve indekse alınır. Googlebot’un web sitesini asgarî efor harcayarak taraması istenen durumdur. Bu yüzden gereksiz sayfaların dizinden kaldırılması ve öbür sayfalardan linklenmemesi kıymetlidir. Bir sayfanın URL’si Google tarafınca tespit edildiğinde içeriğini öğrenmek hedefiyle botlar sayfayı ziyaret eder. Linklenen sayfalar Googlebot tarafından keşfedilirse “noindex” etiketi kullanılsa da arama sonuçlarına eklenebilir. Hangi sayfaları ne sıklıkla tarayacağını belirlemek için kendi algortimasından yararlanır. Ayrıyeten web sunucusuna fazla yük olmamak için yavaş tarayacak formda programlanmıştır.

Google, siteleri ve sayfaları taramak için sıraya alır ve sonrasında taradığı sayfaları oluşturmak için tekrar sıraya alır. Taranan sayfalar Google tarafından oluşturulur. Birinci olarak bir HTTP isteğinde bulunur. İstek attığı sayfada HTTP durum kodunu ve taramaya müsaade verilip verilmediğini denetim eder. Müsaade veriliyorsa sonrasında HTML kodu içerisindeki tüm “href” etiketlerindeki temasları denetim eder. Denetim edilmesi istenmeyen kontaklar için “nofollow” etiketi kullanabilirsiniz.

Googlebot Hangi Web Sayfalarını Taramaz?

• Robots.txt belgesinden engellenmiş dizin yahut URL’ler,
• Üye girişi ile açılan sayfalar,
• Sayfa daha evvelden taranmış olan sayfanın kopyasıysa bu sayfalar taranmayabilir.

Google İndeks Yapısı (Indexing)

Google, taramış yahut ziyaret etmiş olduğu sayfaları başlıklar, paragraflar, görseller, görüntüler üzere temel içerik etiketlerini web sayfasının HTML kodlarını okuyarak tahlil eder. Sayfayı taramasının akabinde dizine ekleme sırasında öncelikli olarak içeriğin kopya olup olmadığını denetim eder. Sonrasında <canonical> etiketine bakar ve dizine eklenmesi gereken sayfayı tespit eder. Googlebot tarafından taranmış olan sayfanın varsa lisan seçenekleri üzere farklı varyasyonlarının sinyallerini de bu basamakta toplar. Sayfa taramasının akabinde binlerce bilgisayar kullanarak Google veritabanında bu bilgileri depolar. Ayrıyeten depolanan sayfaların arama sonuçlarında görüntülenme garantisi yoktur.

Google bu alanda en esaslı değişimi 2010 yılında Caffeine Güncellemesi içerisinde Percolator aracını kullanmaya başlayarak gerçekleştirmiştir. Evvelce kullanılan Map Reduce sistemine nazaran daha efektif ve süratli çalışan Percolator, çalışma prensibi gereği sayfaları asgarî müddette indeksleyebiliyor.

Google Arama Sonuçlarını Nasıl Sunar? (Serving)

Bir kullanıcı yapmış olduğu sorguda Google veritabanında bulunan en alakalı sonuçları Arama Sonuçları Sayfası’nda (SERP) imgeler. Burada görüntülenen sayfalar milyonlarca sayfa ortasından içeriğin alakalı olması, içerik lisanı, sorgu yapılan pozisyon, arama yapılan aygıt (telefon yahut bilgisayar) üzere birçok faktör göz önünde bulundurularak çıkarılır. Örneğin “telefon tamiri” sorgusunu İstanbul’da yapan bir kullanıcıyla Barselona’da tıpkı aramayı yapan kişi farklı arama sonuçları görecektir. Ayrıyeten sunulan güçlü arama sonuçları ve arama sonuçlarını geliştirmek ve en gerçek bilgiyi kullanıcılarla buluşturmak için Google arama sonuçlarını kalite testlerinden geçiriyor. Bu sayede sunulan arama sonuçları her geçen gün gelişmeye devam ediyor.

Google Aramanın Temel Özellikleri

Google Arama Sonuçlarında (SERP), internet siteleri ve Google’da bulunan her bileşenin Google Arama’da görünmesini ve âlâ performans göstermesini sağlayan birtakım temel ögeler vardır:

• Teknik Koşullar

  Google, sayfaları arama sonuçlarında göstermek için kimi teknik şartların sağlanmasını bekler. Pek olağan bu şartlar sayfanın erişilebilir, içerik olarak dolu ve çalışır durumda olmasıdır:

  • HTTP durum kodu 200 dönmelidir,
    • Sayfa içeriği istemciye sunucu tarafından sıkıntısız iletilmelidir.
  • Googlebot taraması engellenmemiştir,
    • Robots.txt yahut HTTP header kullanılarak sayfa taranması engellenmemiş olmalıdır.
  • Sayfa içeriği dizine eklenebilir içeriğe sahiptir.
    • İçerik kopya değildir,
    • Metin içeriği desteklenen evrak formatındadır,
    • Spam siyasetlerini ihlal etmiyordur.

• Spam Politikaları

Spam siyasetlerinden etkilenen web sayfasının sıralamalarının düşmesine yahut Google Arama’dan büsbütün kaldırılmasına sebep olabilir. O nedenle spam niteliği taşıyacak uygulamalardan uzak durmak en sağlıklısı olacaktır. Spam oluşturacak uygulamaları incelemek gerekirse:

• Sayfa içeriğinde vadedilen içerik haricinde sunumlar yapmak spam siyasetine takılacak bir uygulamadır. Sayfa başlıkları yahut görseller kullanarak kullanıcının arama sonucunu bulduğunu düşündürerek farklı içerik sunmak, yani kullanıcıyı kandırmak spam niteliği taşımaktadır.
• Köprü sayfalar yahut kontaklar kullanmak bir başka spam oluşturma sebebidir. İçeriğe erişmenin yollarının uzatıldığı ya da engellendiği bu durumda kullanıcılara aranan içerik haricinde bilgiler yahut reklamlar sunulmasıdır. Kullanıcıların arama yaptığı bahis ve niyetinin haricinde içerikler görüntülendiğinden bu da spam niteliği taşımaktadır.
• Gizli metin ve irtibat kullanımı da spam oluşturan ögelerden biridir. Metnin görünmeyecek formda sitede kullanımı (beyaz art plana beyaz yazılar yerleştirmek, fotoğrafların ardına metin eklemek, yazı tipi boyutunu 0px olarak kurgulamak) spam siyasetlerini ihlal eden birtakım zımnî içeriklerdir.
• Sitede bulunan temasların uygunsuz kullanımları da spam niteliği taşıyabilir. Satın alınan backlinkler, karşılıklı ilişki takası yapmak, makûs içerik bulunan sayfalardan backlink almak üzere uygulamalar bu siyasetleri ihlal eden kimi durumlardır.
• Otomatik trafik uygulatmak, yani botların daima kullanıcı üzere sayfayı ziyaret etmesi durumu; boş kaynak tüketimi yaptığı ve gerçek kullanıcılara verilen hizmet kalitesini düşürdüğü gerekçesiyle uygunsuz bir uygulamadır. Site ve sayfa etkileşiminin bir sıralama faktörü olduğu göz önünde bulundurulursa direkt hile olarak kabul edebiliriz.
• Anahtar sözleri metne serpiştirmek yerine spam olacak kadar çok kullanma durumu Google Arama’da siyaset ihlali olarak kabul edilir. Zira metin anlamsal bütünlükten çok anahtar sözleri doldurarak oluşturulduğunda Google tarafından yararsız içerik olarak nitelendirilir.

Enter’a Basınca Google Tarafında Neler Yaşanır?

En uygun ve sağlam bilgiyi sunmak için yapılan sorgulara karşılık gelen arama sonuçları birden çok algoritma ve sıralama kriterinin birlikte çalışması ile Google tarafından kullanıcılarla buluşturulur. Sorgusu yapılan söz yahut söz kümelerinin sorgu yapılan yer, sayfa içeriği, sorgu yapılan lisan üzere faktörleri de göz önünde bulundurularak alakalı ve emniyetli içerikleri sunmak için çalışır.

Kullanıcı Google Aramada Sorgu Yapılınca:

Google, arama sorgularına nazaran tüm web dizinindeki bilgileri değerlendirip en yararlı içerikleri listeler. Google Arama Dizini’nde depolanan ve sorguya en gerçek yanıtı verecek olan sayfaları sıralar ve en kısa müddette kullanıcıyı hakikat bilgiyle buluşturmayı hedefler. Bu sıralama aşağıdaki evrelerden geçerek otomatik olarak oluşturulur:

1. Öncelikle yapılan aramanın niyetini belirleyerek en uygun sonuçları sıralamaya çalışır. Bu basamakta eş manalı sözler ile yapılan aramalar (bilgisayar parlaklığını değiştirme & bilgisayar parlaklığını ayarlama) da birbiriyle eşleştirilir.
2. Web sayfalarının dizine eklenmesi sırasında içeriği tahlil edilip oluşturulduğu için arama sorgusu ile alakalı sonuçların birbiriyle eşleşmesini kolaylaştırır. Yapılan sorguda sırf aratılan sözün bir görseli ya da yalnızca o sözden oluşmuş bir sayfa muhtemelen kullanıcıya yarar sağlamayacaktır. Bundan ötürü arama sorgusundaki söz hakkında daha fazla bilgiyi bir ortada toplamış sayfaların sıralanması daha mümkündür.
3. Sayfaların içerik kaliteleri sıralama için sıradaki kademedir. Arama sorgusundaki kelimeyi anahtar söz olarak tanımlayıp başlıklarda yer vermek bu mevzuda kâfi olmayacaktır. Semantik bütünlüğü sağlamış ve kullanıcı odaklı içerik hazırlamış olan web sayfalar bu adımda öne çıkmak için bir adım öndedir.
4. Yukarıdaki etapları geçtikten sonra yakın olan sonuçlar ortasında en düzgün performansı gösteren sayfayı tespit etmek için web sayfalarının kullanılabilirliği açısından kıyaslaması yapılır. Bu etapta web sitesi suratı (pagespeed), erişilebilirliği, sayfanın mobil uyumlu olması, SSL sertifikası kullanımı ve içeriğin görünür olmasıdır. Sayfanın açılma ve yüklenme suratı bilhassa taşınabilir aygıtlardan gelen kullanıcı tecrübesi için kıymetli faktörlerden biridir.
5. Son sıralama etabı olan pozisyon bilgisi, coğrafik olarak daha yanlışsız sonuçları sıralamak için kullanılır. Örneğin Amerika’da yapılacak “futbol” sorgusunda Amerikan Futbolu hakkında içerikler sunulurken, Türkiye’de yapılacak “futbol” sorgusunda Türkiye Futbol Ligi ile ilgili sonuçlar sıralanacaktır.

Google Sıralama Faktörleri Nelerdir?

Google Arama Motoru, kullanıcılar için en az müddette azamî bilgiyi vermek üzerine gelişmeye devam etmektedir. Google bunun için varlıklı sonuçlar (rich snippets), bilgi kartları, Google çeviri, hava durumu gösterme aracı ve döviz çeviri aracı üzere bir web sayfasına tıklamadan gerçek bilgiyi kullanıcılarla buluşturmak üzere geliştirmeler yapar. Bu çalışmalar ve yıllardır Google tarafından yapılan güncellemeler göz önünde bulundurularak hem kullanıcı odaklı içerik ve işaretlemeler hem de robotların kolay ve süratli biçimde tarayabileceği web siteler inşa etmek gerekmektedir. Artık öne çıkan sıralama faktörleri hakkında biraz daha derinlere inelim:

• Kullanıcı Odaklı içerik

Google içeriklerin robotlara nazaran değil kullanıcılara nazaran oluşturulmasını istiyor. Sık kullanılan anahtar sözlerin spam niteliğinde olduğu ve kullanıcının aradığı bilgiye ulaşmasını zorlaştırdığı için Google bu bahiste 2022 yılında bir güncelleme yayınladı. Oluşturulan içeriklerin gayesini manalandırmak üzerine geliştirilmiş olan Faydalı İçerik Güncellemesi yazımızı okuyabilirsiniz.

• Mobil Uyumlu Siteler

İnternet sitesi ziyaretlerinin ortalama olarak %80’i taşınabilir aygıtlar aracılığıyla gerçekleşir. Taşınabilir aygıtlara uyumlu ve ekran çözünürlüklerine uygun (responsive) dizaynlar kullanılmalıdır. Ayrıyeten Google, taşınabilir öncelikli web sitesi kavramını da kullanıyor. Sitede gezinme, taşınabilir tasarım ve sayfa sistemi üzere kozmetik yapı taşınabilir tecrübe korkularıyla tasarlanmalıdır.

• Sayfa Suratı (Pagespeed Insights)

Kullanıcıları memnun etmek ve sıralamalarda üst sıralara tırmanmak için kıymetli bir kriter olan sayfa yüklenme hızı, istekte bulunan kullanıcılara süratli karşılık vermek için değerli bir sıralama faktörüdür. Kullanıcı tecrübesini direkt etkileyen sayfa açılış suratı, görsel yüklenme suratı ve içeriklerin yüklenme suratı üzere durumları kapsar. Sunucular ve belge transfer protokolleri bu noktada değerlidir.

• URL Yapısı

Site genelinde kullanılan URL yapısı hem kullanıcılar hem de tarama botları için manalı ve nizamlı yapılar oluşturulmalıdır. Bu mevzudaki en güzel uygulamalar arama sorgularıyla tam eşleme sağlamak ve uzun olmayan URL’ler kullanmaktır.

• Yapılandırılmış Data Kullanımı

Arama sonuçlarında daha güçlü bir görünüm yakalamanın yanı sıra web sitesinin semantik olarak bütünlüğünü sağlamak için Yapılandırılmış Veriler kullanılır. Meta etiketlerin çağdaş ve gelişmiş sürümü olan yapılandırılmış bilgiler sayfa içeriğini arama sonuçlarında daha kapsamlı göstermek için kullanılır. Örneğin eser ayrıntı sayfalarında fiyat, marka, stok durumu üzere gerekli bilgileri sunmak için kullanılır. Bu kullanım haricinde; sıkça sorulan sorular ve nasıl yapılır işaretlemeleri en sık görülen kullanılmalıdır.

• Site İçi Linklemeler

Site içerisinde bahsedilen bahsin ayrıntısına inmek için kullanılan site içi linkler sitede dolaşmak ve kullanıcıların sitede geçirdiği toplam süreyi arttırmak için kullanılır. Ayrıyeten link verilen sayfayı güçlendirmek için kullanılır. Bu alanda en yeterli uygulama hakikat sözden verilecek olan linklerdir.

• Hiyerarşik Başlık Yapısı

Hiyerarşik başlık kullanımı hem bilgi hiyerarşisini düzenlemek hem de botlar tarafından manalı bir yapı oluşturmak için kullanılır. Başlıklarda kullanılacak anahtar sözler bu alanda en âlâ uygulamadır.

• Meta Title & Description Etiketleri

Meta Title etiketi, web sayfasının ana mevzu başlığı niteliğindedir. Tarayıcı araç çubuğu üzerinde görüntülenir. Sayfa sık kullanılanlara eklendiğinde başlık olarak görüntülenir. Arama motoru sonuçlarında başlık olarak görüntülenir. HTML evrakında yalnızca bir <title> etiketi bulunabilir. Azamî boyutu 580px’dir (55-60 karakter).

Meta Description etiketi, arama sonuçları sayfasında (SERP) başlığın altında görüntülenen metin alanıdır. Bu etiket, sayfanın kısa bir açıklamasını sağlamak için kullanılır. Görünür olması için azamî 990px büyüklüğünde olmalıdır. Aksi takdirde SERP’de description tam olarak görüntülenmez. Bu etiket içeriğinde anahtar sözler spam olmayacak halde ve anlamsal bütünlüğü koruyacak biçimde kullanılmalıdır.Google tespit ettiği sayfaları bir çok faktörü gözeterek arama sonuçlarında sunuyor. Kullanıcının pozisyonundan ve arama niyetinden ötürü şahıstan bireye değişen bir sistem kullanılıyor. Bir çok doğruyu bir ortada yapan ve teknik ihtiyaçları tamamlanmış sayfalar Google tarafından ödüllendiriliyor.

Google’da Üst Sıralara Çıkmak İçin Neler Yapabilirsiniz? içeriğimizi de okuyabilirsiniz.