Tarama Bütçesi Nedir Optimizasyonu Nasıl olmalıdır?

Kasım 10, 2017

Tarama bütçesi yani Crawl Budget Google örümceklerinin web sitenizde var olan sayfalardan günlük kaç tanesini gezdiğini belirten terimdir diyebiliriz.

Genellikle sabit olmakla beraber dinamik bir yapıya sahiptir ve bazı durumlarda bu sayı değişiklik gösterebilmektedir.

Örümceklerin Çalışma Mantığı Nasıldır?

Google’ın gezgin örümcekleri bir web siteyi incelemeye başladığında ilk olarak varsa eğer Robots.txt dosyalarını bulmaya çalışır. Bulunan Robots.txt dosyasını inceledikten sonra ise engellenmiş dizinler hariç olarak tüm linkleri taramaya ve incelemeye başlar. Örümcekler hiçbir sayfayı atlamadan site içindeki tüm sayfaları tek tek incelemeye başlar ve incelediği sayfalardaki komut ve stil dosyalarını çalıştırmaya başlar. Sayfa taraması bittiğinde ise sırada tuttuğu diğer sayfayı incelemeye başlar. Örümcekler bir sayfayı taradığı halde tekrar ve tekrar taramaya devam edebilir. Bunu yapmalarındaki amaç ise birçok neden olabilir. Bunlardan biri sitenizdeki haritanızın lastmod parametresi, içeriğin güncellenmesi olabileceği gibi aynı zamanda birinin haberiniz olmadan sayfanıza vermiş olduğu bir link te neden olabilir.  Kısaca bunu neden yaptığını tam olarak bilememekte ve anlayamamaktayız. Kısaca özetleyecek olursak eğer Google örümcekleri yardımıyla web sitenizdeki sayfaları tek tek inceler ve daha sonra sayfa içindeki linkleri belirli bir liste haline getirir ve bu linkleri de inceler. Şimdi şu soruyu sorabilirsiniz: Zaten site içindeki bütün sayfalar birbirine bağlı şekilde hazırlanmaktadır. Google neden tüm siteyi tek seferde incelemek yerine her sayfayı tek tek inceliyor?

Tarama Bütçesi Nedir?

Google örümcekleri tarafından önemine göre ziyaret ettiği sayfa sayısıdır diyebiliriz. Eğer bu arama sayısı belirli bir ortalamanın altına düşerse sitenizdeki index arama sonuçlarında da bir güncellik olmayacak ve sitenizin sıralaması git gide düşecek ve değeri azalacaktır. Arama sayısı ortalamasın nasıl hesaplanır sorusunu duyar gibiyiz. Bu oldukça basittir. İlk olarak Search Consoluna giriş yapın. Menüden Google Dizini > Dizin Durumunu seçecek olursanız aşağıdaki resimde gördüğünüz gibi toplam sayfa aranma sayınızı görebileceksiniz.

 

Şimdi de Google örümceklerinin günlük olarak kaç sayfaya baktığını göreceğiz. Bu incelemeye bakabilmek için Search Console’dan Tarama – Tarama İstatistikleri kısmına girmelisiniz. Girdiğinizde ise aşağıdaki resimde göründüğü gibi  “Günlük Taranan Sayfa Sayısı” bölümünde ortalama olarak adlandırılan alanda asıl rakam gösterilmektedir.

Hesaplama Nasıl Yapılır?

Dizine eklenmiş olan toplam sayfa sayısı / Günlük taranmış olan sayfa sayısı = Tarama bütçesi

Bir örnek vererek hesaplayalım bu şekilde daha net bir şekilde aklınıza yatmış olacaktır.

871 toplam eklenen sayfa sayısı / 206 ortalama taranan sayı = 4,22 tarama bütçesi

Bu Rakam Ne İfade etmektedir?

  • Tarama bütçesi sayısı eğer 10’un üzerinde bir sayı ise o halde derhal bir çalışma yapmalı ve ciddi anlamda optimizasyona gitmelisiniz.
  • Tarama bütçesi sayısı eğer 3’ün altında isi hiç mi hiç endişelenmenize gerek yok çünkü çok iyi durumdasınız demektedir ve içerikleriniz kullanıcı odaklıdır anlamına gelmektedir.
  • Tarama bütçesi sayınız eğer bu iki rakam arasında ise günlük olarak taranan sayfa sayınızı sürekli olarak kontrol etmeli ve düşme ihtimaline karşı çalışmalar yapmalısınız.
  • Genel olarak Tarama Bütçesi budur. Şimdi de tarama bütçesini etkileyen etkenleri ele alalım.

Crawl Budget Neye Göre Belirlenmektedir?

Temel olarak 4 faktöre göre belirlenen tarama bütçesi, Google indeksine eklenmiş olan sayfa sayısı, sitenizin tüm boyutu, sitenizin sayfa hızı ve sitenizin diğer sitelerden almış olduğu referans yani backlink’e göre belirlenmektedir. Tarama bütçesini etkileyen bu 4 faktörü beraber incelemeye ne dersiniz?

  • Google İndeksine Eklenmiş Olan Toplam Sayfa Sayınız.

Google örümcekleri sitenizi tarama her geldiğinde sitedeki haritanızı ve o an indekslenmiş olan sayfaları incelemeye başlar. Bu incelemeler sonucunda ise yeni link eklenmiş olduğunu fark ederse bunları da taramaya başlar ve bu yeni linkleri taramaya ekleyerek arama sonuçlarını günceller. Tabi ki, bu taramalar sonucunda kazanılan bağlantıların sayfayı olumlu etkileyip etkilemeyeceğini bilemeyiz. Bu sıralamayı etkileyen faktör sayısı 200’ün üzerindedir diyebiliriz. Tarama sonucunda indexlenmiş olan sayfanız belirli periyodlar ile tekrar ve tekrar Google örümcekleri tarafından taranır.  Bu taramalar ile birlikte değişiklikler tespit edilir. İndexlenme sayısına erişmek için Search Consol’u kullanarak öğrenebilirsiniz.

  • Sitenizin Toplam Boyutu

Siteniz içindeki toplam görseller, html dosyaları, css ve java dosyaları Google örümcekleri tarafından indirilmektedir ve indirildikten sonra ise taranmaktadır. Bu dosyalarınızın boyutları Google örümceklerinin aramalardaki süreyi ve kaynağı belirler. Eğer siteniz kaliteli bir site değilse ve dosya boyutları oldukça fazla ise o halde botlar daha az uğrar ve daha az tarama yapmaya başlar. Bunun en önemli nedeni ise sitenize ayıracağı kaynağın büyük olmasıdır.

  • Web Sitenizin Hızı

Web siteniz ne kadar hızlı açılırsa o kadar iyidir. Tıpkı internet kullanıcılarının bunu sevdiği gibi Google örümcek botları tarafından da sevilmektedir. Normalden hızlı açılan bir web site örümcekler tarafından yine aynı hızla taranmaktadır. Bu hız sayesinde Google tarafından ayrılan kaynakta en iyi ve verimli şekilde kullanılır.  Bu şekilde olan yani hızlı açılan web siteleri Google örümcekleri tarafından daha sık ziyaret edilir. Bir başka durum ise web site hızının sıralamadaki etkisidir. Buradan da anlaşılacağı üzere sitenizin hızlı olması demek SEO açısından da oldukça etkilidir diyebiliriz.

  • Backlink Sayınız

Google örümceklerinin internetteki her sayfayı tek tek incelediğini ve indexlediğini daha önceden belirtmiştik. İndexlediği sayfalarda bulunan linkleri de incelediğini belirtmemiz gerekmektedir. Google örümcek botları incelediği sayfalarda yer alan tüm linkleri, site içi veya site dışı fark etmez tüm linkleri takip etmektedir.  Örneğin sizin sayfanızda başka bir sitenin linki varsa o halde Google örümcekleri o siteyi indexlemeye ve incelemeye başlar daha sonra tekrar size döner. Buradan da anlaşılacağı üzere bir sitede backlink varsa örümcekler sizi de tarayacaktır. Anlaşılacağı üzere backlink sayısı tarama bütçe ile direk alakalıdır.

Tarama Bütçesinin Optimizasyonu Nasıl Olmalıdır?

Yukarıda açıkladığımız bilgilerden sonra tarama bütçesi düşük olan web sitelerine tavsiye vermek istedir. Tarama bütçesinin yüksek olduğu web siteler ise bu durumu nasıl korumaları gerekir bu alanda da birkaç tavsiyemiz olacaktır. İlk olarak tarama bütçesinde etkili olarak 4 faktörü ele aldık. Bu etkenler ile alakalı olarak çalışmalar yapabilirsiniz. Bunlara yönelik olarak yaptığınız çalışmalar sonucunda ise Google örümcek botları sitenizi daha sık şekilde ziyaret etmeye başlayacaklardır ancak bazı durumlarda buda yeterli olmamaktadır. Buna yönelik olarak düzenlemeleri nasıl yapmalısınız derhal ele alalım.

Yönlendirme ile alakalı olarak problemleri düzeltin

Sitenizde bulunan yönlendirme sorunları, kırık link bağlantıları, alakasız olarak verilmiş olan site linkler sitenizdeki durumu etkilemektedir. Bu aynı zamanda Google örümcekleri açısından da oldukça kötü bir durumdur.  Ana sayfanızda veya diğer alt sayfalarınızda bulunan bağlantıların hepsinin 200 kodu ile beraber yönlendirildiğinden ve alakalı linklere yönlendirildiğine emin olun. Sonuç olarak site içi veya başka bağlantılara 301 veya 302 yönlendirilmesi kullanılarak yönlendirilmişse Google örümcek botları bunu takip etmeyebilir. 301 veya 302 kodu ile yönlendirilmiş olan bağlantıları takip etmez ve listeye alarak bekletir ancak 200 kodu ile yönlendirilmiş olan bağlantıları direk takip eder ve bekletmez.

Gereksiz olan dizinleri engelleyin.

Web sitenizde yer alan ve Google örümcekleri tarafından taranan gereksiz olan dizinleri engellemelisiniz. Buna bir örnek verecek olursak eğer: Örneğin e ticaret sitelerinde yer alan beden hesaplama veya kargo firması ile alakalı olan bilgileri ve sayfaları engelleyebilirsiniz çünkü bu sayfalar her seferinde Google örümcekleri tarafından incelenecek ve kaynak ayrılarak gereksiz iş yükü oluşturacaktır.

Gereksiz yönlendirmeler yapmayın

Bu yönlendirmeler site içi yönlendirmeler değildir. Daha kapsamlı olan yönlendirmeler kullanmayın. Web siteniz http versiyonundan https versiyonuna veya www sürümünden www olmayan sürüme yönlendiriliyor olabilmektedir. Elinizden geldiği kadar bu yönlendirmeleri azaltmanız Google botlarının işlerini büyük oranda kolaylaştıracaktır. Bunun bir diğer faydası ise sitenizin daha hızlı olması olacaktır. Bu sayede siteniz daha hızlı açılacaktır belki ziyaretçileriniz bunu fark etmeyecektir ancak Google örümcekleri bunu hemen anlayacaktır.

Backlink alın.

Alabildiğiniz kadar backlik almanız oldukça önemlidir. Bu işlem gerek sıralamanız açısından gerekse Google örümcekleri açısından oldukça etkilidir. Zaten bu iki işlemde birbiri ile bağlantılıdır. Siz elinizden gelen her şeyi yapmış olabilirsiniz ve hala buna rağmen Örümcekler sizi sevmiyor olabilir bunu atlatmanın en önemli yöntemi ise sürekli olarak güncellenen sitelerden backlink almaktır. Backlink aldığınız siteler sık sık güncellendiği için Google örümcekleri tarafından da oldukça fazla ziyaret edilir ve bu da size yönlendirir ve kazanç sağlar.

Yazımız sonucunda umarız Tarama bütçesi hakkında daha fazla bilgiye sahip olmuşsunuzdur ve sitenizin bu anlamda daha iyi yerlere gelebilmesi için çalışmalar yapabilirsiniz.

 

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir