Screaming Frog SEO Spider ile Atılabilecek 5 SEO Taklası

Web & Mobile Analytics’e odaklanmaya başladığım Ağustos 2013’ten bu yana birçok araçla haşır neşir oldum. Bu araçlardan en sevdiklerimden biri tartışmasız Screaming Frog SEO Spider.

O kadar sevdiğim bir tool ki, twitter’daki kapşonlu hırka yarışmalarına bile katıldım :)

Looove Hoodies! I’ve entered to win a @screamingfrog hoodie pic.twitter.com/EJBci9M5lR – https://t.co/4zbV3ajDBA

— Cagri Sarigoz (@cagrisarigoz) November 21, 2014

//platform.twitter.com/widgets.js

Screaming Frog aslında oldukça basit bir bot yazılımı. Verdiğiniz spesifikasyonlar üzerinden istediğiniz URL’leri aynı Googlebot gibi tarayarak bu URL’ler hakkında birçok bilgi edinmenizi sağlıyor. Ücretsiz versiyonunda bir çok opsiyon kapalı halde geliyor, dolayısıyla aşağıda sıralayacağım SEO taklalarını atabilmesi için bağıran kurbağaya yıllık 99 Sterlin tutarındaki mamasını vermeniz gerekebilir :)

Screamin Frog ile attığım taklaları şöyle sıralayabilirim.

1. Release Kontrolleri 

Eğer çalıştığınız web ürününde bir geliştirme ortamı bulunuyorsa, Screaming Frog’u bu ortamda koşturarak yeni açılacak olan ya da geliştirme yaptığınız sayfaların:

• Olması gerektiği şekilde response verip vermediği (200 OK, 301 Redirect, 404 Not Found vb.)
• Doğru sayıda ve ilgili yerlere link verip vermediği
• Meta Title, Description, Canonical, H1 tagleri gibi markuplarının doğru olup olmadığı
• Sayfaların kaynak kodunda geçmesi gereken bir ifadenin geçip geçmediği

ve daha birçok özelliğini toplu halde kontrol edebilirsiniz. Zaman zaman geliştirici arkadaşlardan “Çağrı Bey siz bot mu oldunuz?” şeklinde esprili övgüler almamı sağladığı için bu süper yaratığa bir kez daha teşekkürlerimi sunuyorum :)

2. Sitenin İç Link Yapısını Ortaya Çıkarma

Screaming Frog’un tarama işlemi için 2 farklı modu bulunuyor: Spider ve List.

Spider ile sizin verdiğiniz bir başlangıç URL’i üzerinden siteyi taramaya başlıyor. Dur dediğiniz yerde durup (link derinliği limitlemesi), bak dediğiniz yere bakıyor (crawl seçenekleri). Bakma dediğiniz yerlere de bakmıyor (include, exclude opsiyonları). İsterseniz Robots.txt dosyasına uyarak tarıyor, isterseniz uymayarak. Kısaca SEO’ya dair bir botun karşılaşabileceği hemen hemen tüm opsiyonlar ile oynayarak istediğiniz şekilde siteyi taratabiliyorsunuz. İşin asıl güzel olan yanı, tüm bu tarattığınız sayfaların her birinin nereye link verdiği, kaç tane link verdiği, bu linklerin Anchor Text’leri, response süreleri, meta tagleri vb. tüm özelliklerini  sunuyor olması.

List ise bir txt metin dosyası ya da xml sitemap dosyası üzerindeki tüm URL’leri Spider modunda olduğu gibi taramanızı sağlıyor. List modunda default olarak taranacak link derinliği 0 olarak geliyor. Yani sadece verdiğiniz dosyadaki URL’leri tarıyor. Eğer derinliği artırırsanız, tüm URL’leri birer Spider başlangıç URL’i gibi taramaya başlar. Bu durumda çok sayıda URL taratıp bilgisayarınızın belleğinin yetersiz kalması durumuyla karşılaşabilirsiniz. Ama Screaming Frog böyle durumlarda da hemen prosesi durdurup sizi uyarıyor. O ana kadar taramış olduğu URL’lerin bilgileri de kaybolmuyor.

Tüm bu veriye bakarak incelediğiniz sitelerin link yapısının güçlü ve güçsüz yanlarını kolaylıkla ortaya çıkarabiliyorsunuz.

3. Backlink Kontrolü

Sitenizin aldığı backlinkleri listeleyebileceğiniz gazilyon tane ücretli/ücretsiz araç bulunuyor ancak hiçbiri size yüzde yüz kesinlikte bilgi sunmuyor. O anda, sizin belirlediğiniz, size backlink verdiğini söyleyen sitelerden backlink alıp almadığınızı birkaç adımda kontrol edebileceğiniz 3 farklı yöntemim var:

3.1. Sitenize Backlink veren URL’lerin listesini çıkarma

• Kontrol etmek istediğiniz sitelerin listesini bir txt dosyasına atın
• Screaming Frog: Configuration > Custom adımından tarayacağınız sitelerin kaynak kodlarında aratmak istediğiniz, sizin sitenize verilmesi gereken linkle ilgili olan bölümü ekleyin. Genelde bu linkler şu formatta olur:

<a href="https://cagrisarigoz.com/seozone-2014-yogun-doyurucu/" onclick="__gaTracker('send', 'event', 'outbound-article-int', 'https://cagrisarigoz.com/seozone-2014-yogun-doyurucu/', 'SEOZONE 2014');" title="SEOZONE 2014 Notlarım">SEOZONE 2014</a>

Burada bizi ilgilendiren kısım olan ‘href=”https://cagrisarigoz.com’ kod parçası ve bunun http’siz, https’li, www’li vb. versiyonlarını custom seçenekler arasına koyarak tarattığınız listedeki URL’lerin hangilerinden sitenize backlink olduğunu kontrol edebilirsiniz. Screaming Frog 10 adete kadar custom filter uygulamanıza olanak sağlıyor. Ekran görüntüsündekine benzer bir liste işinize yarayacaktır.

3.2. Sitenize Backlink Vermeyen URL’lerin Listesini Çıkarma

Bu yöntemde ilk yöntemin tam tersini kullanarak, “Custom Filter Configuration” sayfasında “Contains” yerine “Does Not Contain” seçeneğini seçerek sitenize backlink vermeyen sitelerin listesini çıkarabilirsiniz.

Basit olması açısından “Does Not contain” seçeneğiyle birlikte sadece sitenizin URL’inin ilgili kısmını koyarak sitenizle ilgili (linkli veya değil) hiçbir text içeriğin geçmediği sayfaların listesini alabilirsiniz.

3.3. Listedeki tüm URL’lerin Dış Linkelerinden Kendi Sitenize Gelenleri Filtreleme

Bir başka yöntem ise listenizdeki tüm URL’lerin outgoing linkleri export ederek* linkler arasında sizin sitenizin olup olmadığını kontrol etmek. Filtreleme ve ayıklama gibi birkaç temel Excel bilgisi kullanarak elinizdeki URL listesinden sitenize gelen linklerin testi yaptığınız andaki durumunu kontrol edebilirsiniz. Aynı Excelin içinden elinizdeki sitelerin başka hangi sitelere link verdiğini de yine kontrol edip, kendi küçük rakip analizinizi de yapabilirsiniz.

Benim Screaming Frog ile Backlink profili çıkarmadaki favori yöntemim bu. İlk yöntemde sadece “href” ile verilen text backlinkleri çıkarabiliyorsunuz, ve 10 adetlik filtre alanı yetmeyebiliyor. İkinci yöntemde ise aslında link olmayıp sitenizin adının geçtiği text içerikleri gözünüzden kaçırıyorsunuz.

*Listenizdeki URL’lerden çıkan tüm dış linklerin listesine erişim: Screaming Frog: Bulk Export > All Out Links

3.3.1 Sitenizin Adının Geçtiği Ancak Linkin Bulunmadığı URL’leri Bulmak

 İşimiz burada fırsat odaklı bir hale dönüşüyor.

• Bir üst adımdaki Excel’i filtreleyerek sitenize gelen backlinkleri listeleyin
• Screaming Frog: Configuration > Custom adımından “Contains” seçeneğiyle sitenizin adını yazın, ve çıkan URL’leri  aynı Excel’in ayrı bir sheet’ine atın
• Excel’in “index” formülünde “match” karşılaştırmasını kullanarak ikinci sheet’inizdeki listedeki URL’ler ile ilk sheet’tekileri eşleştirin. (Eşleştirmeyi ikinci sheet üzerinde yapın, çünkü kalabalık olan taraf burası)
  • Eşleştirme sonucunda #N/A olarak görünen siteler, sitenizin adının kaynak kodunun bir yerlerinde metin olarak geçtiği ancak size link vermemiş olan siteler olacaktır.

4. Anonim Bilgi Toplamak

İnternet ekosisteminde herkese açık bilgiyi toparlayıp istediğiniz formata dönüştürmek için sınırsız opsiyon var aslında. Screaming Frog data toplama konusunda çok ileri gidilemese de, düzgün bir şekilde sıralanmış ve URL yapısı okuyucu dostu olan linklerin bulunduğu sitelerden anonim bilgi toplamak mümkün. Ancak burada dikkat edilmesi gereken çok önemli bir noktayı atlamamak lazım. Her ne kadar internet ortamında birçok bilgi herkese açık yer alıyor olsa da, kişisel bilgilerin ve özel hayatın gizliliğine saygı gösterek bilgi toplamak gerekiyor. Gerçek bir insanın farkında olmadan Facebook profilini herkese açık sunması, bundan faydalanabilirsiniz, her yere o kişinin bilgisini yayabilirsiniz anlamına gelmemeli. Telefonuna ve emailine günde 20-30 adet promosyon mesajı gelen biri olarak söylüyorum bunu.

Benim denediğim ve fena sonuç vermeyen örnekler:

• Araba marka, model ve yıl bilgilerini düzgün bir şekilde linklendirmiş bir siteden araba bilgilerini almak
• gov.tr, bel.tr, edu.tr uzantılı sitelerin listesini çıkarmak. Bunu yaparken bonus olarak bu sitelerin çalışıp çalışmadığını da kontrol edebiliyorsunuz :)

5. Google Analytics Tracking Code Kontrolü

Eğer Web Analytics ya da bir şekilde SEO ile uğraşıyorsanız, sizin ya da müşterinizin web ürününü incelerken ilk yapmanız gereken adımlardan biri incelediğiniz datanın sağlıklı olup olmadığına bakmak olacaktır.

Google Analytics (GA) en küçüğünden en kompleksine her türlü dijital ürüne ücretsiz analytics hizmeti veren bir ürün, ama iş sadece sitenin bir yerlerine GA üzerinden açtığınız hesabın Tracking Code’unu eklemekle bitmiyor.

Üzerinde çalıştığınız sitenin 10 tane sayfası varsa her birindeki GA Tracking Code’unu tek tek kontrol edebilirsiniz belki, ama binlerce sayfası olan bir site için bunu yapmak imkansız hale geliyor.

Sitedeki tüm sayfaların ya da sizin belirleyeceğiniz belirli sayfaların kaynak kodunda GA Tracking Code’un geçip geçmediğini kontrol etmek için aşağıdaki adımları takip ederek Screaming Frog’a sayfaları taratabilirsiniz.

Screaming Frog: Configuration > Custom > GA Tracking Kodu Girin  (Ör. UA-335449-7)

Bu arada bu minik “hack”i SEOZONE 2014 konferansına katılan Annie Cushing’in efsanevi SEO Audit Checklist‘inde gördüğümü belirteyim. SEO’yla uğraşan herkesin kesinlikle bir uğraması ve feyz alması gereken bir liste.

Sizin Screaming Frog ya da benzeri toollar ile yaptığınız “hack”ler var mı? Varsa, lütfen yorum yazarak paylaşımda bulunun.

Screaming Frog SEO Spider’ın tanıtım videosu* biraz yavaş tempolu, ninni niyetine dinleyip, izleyebilirsiniz :)

*Videoda versiyon 6.0 tanıtılıyor, şu an en güncel versiyon 6.2

https://www.youtube.com/watch?v=RKyuQa5wZl0