Robots.txt Nedir? WordPress Site İçin Nasıl Optimize Edilir?

Web sitelerinin teknik SEO’su üzerinde çalışma yaparken kontrol ve optimize edilmesi gereken en önemli dosyalardan biri robots.txt dosyasıdır. Çünkü bu dosyadaki herhangi bir sorun ya da yanlış, sıralamalara ve trafiğe ciddi derecede zarar verir. Peki robots.txt nedir ve WordPress site için nasıl optimize edilir? Bu yazımızda bu konulara kısaca işaret edeceğiz.

Robots.txt Nedir?

Öncelikle robots.txt nedir diye merak edenler için kısa bir tanım yapalım. Web sitesinin kök dizininde yer alan ve arama motorları ile tarayıcılara bazı talimatlar veren metin dosyasına robots.txt denir. Bu dosya, indeksleme işlemi sırasında hangi sayfaların taranacağına ve dizine ekleneceğine ilişkin çeşitli talimatlar içerir.
Google botlarının herhangi bir web sitesini ziyaret ederken ilk yaptığı şey robots.txt dosyasının içeriğini aramak ve kontrol etmektir. Dosyada yer alan kurallara göre URL’lerin listesini tarayıp web sitesi için dizin meydana getirirler.
Robots.txt dosyası içeriği genel erişime açıktır. Bu nedenle bu dosyanın, başkalarının görmesi istenmeyen bir içerik eklemek için uygun bir yer olmadığını unutmamalısınız. 

Bir Robots.txt Dosyanız Yoksa Ne Olur?

Robots.txt dosyası eksik olduğunda arama motoru tarayıcıları, web sitesinin herkese açık sayfalarını tarar ve dizine ekler. Oysa web sitelerinde genel erişime açık olmaması gereken bazı sayfalar vardır. Robots.txt dosyasının düzgün çalışmaması da içeriğinin ihmaline yol açar. Yeni başlayanlar için robots.txt nedir sorusu bu gibi nedenlerden dolayı çok önemlidir.
Diğer taraftan yanlışlıkla arama motorlarının web sitesine erişmesi engellenirse bu da ciddi bir soruna yol açar. Bu durumda web sitesindeki sayfalar için tarama gerçekleşmez. Sitenin hiçbir sayfasının ya da dizininin arama motoru sonuçlarında yer alması istenmiyorsa bunu da mutlaka robots.txt dosyasında belirtmek gerekir.
Bu çerçevede robots.txt dosyasının en yaygın kullanım durumları şu şekildedir: 

• En önemlisi, arama motorlarının web sitesindeki belirli sayfalara ya da dizinlere erişmesini önlemektir. Robots.txt dosyasında kullanılan ifadeler, arama motoru tarayıcılarına belirli dizinleri indekslememesini söyler. 
• Büyük web sitelerinde tarama ve dizine ekleme çok yoğun bir işlem sürecini gerektirir. Nitekim arama motorlarından gelen tarayıcıların tümü web sitesini taramaya ve dizine eklemeye çalışınca performans zarar görür. Bu gibi durumlarda web sitesinin bazı bölümlerine kısıtlama uygulamak faydalı sonuçlar sağlar. Robots.txt nedir diye merak edenler bu konuda da alternatifleri değerlendirebilir. 
• Bağlı kuruluş bağlantıları için URL gizlemeye karar verirseniz bunun kullanıcıları ya da arama motorlarını kandırmak için içeriği ya da URL’leri gizlemekle aynı şey olmadığını unutmamalısınız. 

Robots.txt Nasıl Çalışır?

Aslına bakarsanız, robots.txt dosyası çok basit bir yapıya sahiptir. Bu dosya kısaca, önceden tanımı gerçekleşen birtakım anahtar kelime/değer kombinasyonlarıyla çalışır. Bunlar arasında en yaygın olanları kullanıcı aracısı, izin ver, izin verme, site haritası, tarama gecikmesi şeklindedir. Robots.txt nedir diye merak edenler için bunları kısaca şu şekilde açıklayabiliriz: 

• Kullanıcı aracısı, hangi tarayıcıları yönergeleriyle dikkate almak gerektiğini belirtir. Ayrıca tüm tarayıcılara referans vermeyi sağlar veya bir tarayıcı adı belirtir.
• İzin ver, hangi sayfalara ya da alt klasörlere erişim izni olduğunu ifade eder. Fakat bu yalnızca Googlebot için geçerlidir. Ana dizine izin yoksa belli bir alt klasöre izin vermek mümkündür.
• İzin verme, bir URL’i ya da web sitesinin bir bölümünü taramaması için kullanıcı aracısına talimat verir. Bu talimatın belli bir dosya, URL ya da dizin için geçerli olması mümkündür.
• Site haritası, Google gibi büyük arama motorları tarafından desteklenir. Konumu belirtmek için ise XML site haritası devrededir. Bu haritanın konumu robotlarda belirtilmese dahi arama motorları bunu bulur.
• Tarama gecikmesi, milisaniye cinsinden bir gecikmedir. Bir sonraki sayfanın web sitesinden taranmadan önce arama motoru tarayıcılarının bir süre beklemesini sağlar. Fakat gecikmeli tarama Googlebot üzerinde etkili değildir. Binlerce sayfalık web sitelerinde sunucuyu sürekli isteklerle meşgul etmemek için tarama gecikmesini devreye almak mümkündür. 

WordPress Site İçin Robots.txt Optimizasyonu Nedir?

WordPress temelli bir siteniz varsa robots.txt dosyasına otomatik olarak sahip olursunuz. Ancak özelleştirme yaparsanız sisteminiz daha iyi sonuçlar sağlar. Web sitenizin robots.txt dosyasına sahip olup olmadığını anlamak için alan adı/robots.txt uzantısını tarayıcınıza yazabilirsiniz. Eğer bir robots.txt dosyasına sahipseniz karşınıza;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
görünümlü bir sonuç sayfası çıkar. Buna sahip olunmadığı durumlarda ise ilgili sayfaya erişim gerçekleşmez. Robots.txt dosyasını özelleştirmek için ise manuel ve Yoast eklentisi şeklinde iki farklı yöntem mevcuttur. 

Manuel Olarak Robots.txt Oluşturma Nedir?

Robots.txt dosyanızı manuel olarak oluşturmak için bilgisayarınızda not defteri gibi bir metin programı açın. Ardından,
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
ifadelerini programın içine yapıştırın. Dosyayı robots.txt olarak bilgisayarınıza kaydedin. FileZilla gibi bir FTP programıyla sistem dosyalarına erişim sağlayın. Bu kısımda yer alan public_html klasörünü açın ve oluşturduğunuz robots.txt dosyasına yükleyin. 

Yoast Eklentisiyle Robots.txt Oluşturma Nedir?

Robots.txt dosyasını eklemenin bir başka yolu da Yoast SEO gibi araçlar kullanmaktır. Bunun için öncelikle WordPress sistemine bu eklentiyi yükleyin. Ardından Yoast SEO’nun araçlar menüsünü açın. Dosya düzenleme sekmesini tıklayın. Çıkan sayfadan robots.txt oluşturma butonuna basın. Böylelikle işleminiz kolayca gerçekleşir. 

Robotx.txt’ye Kural Nasıl Eklenir?

Robots.txt üzerinden tanımlanabilecek iki talimat vardır. Bunlar “allow” ve “disallow” şeklindedir. Bu talimatlar bot sistemlerinin klasörlere erişim iznini düzenler.
WordPress’ten gelen robots.txt dosyası üzerinde düzenleme yapamıyorsanız yeni bir robots.txt dosyası oluşturabilirsiniz. Yeni dosyayı kök dizine ekleyerek dosyaya yeni kurallar ekleme imkanı elde edersiniz. Kök dizinde fiziksel bir dosya olduğunda sanal WordPress dosyası devre dışı kalır.
WordPress sitesi için bir hosting sağlayıcı ile çalışıyorsanız robots.txt dosyasını cPanel üzerinden yönetmeniz veya güncellemeniz mümkündür. Ayrıca hosting sağlayıcınızın vereceği FTP bilgileriyle de robots.txt dosyasına erişim gerçekleştirerek bu işlemleri yapabilirsiniz. 

Robots.txt SEO İçin En İyi Uygulamalar Nedir?

Robots.txt dosyasını test etmek ve SEO açısından engel olup olmadığını kontrol etmek gerekir. Bu bağlamda örneğin CSS ya da JS klasörlerini engellememek gerekir. Tarama ve dizine ekleme esnasında Google tıpkı gerçek bir kullanıcı gibi web sitesini görüntüleyebilir. Sayfalarda JS ve CSS’in düzgün çalışması için bu klasörlerde engel olmamalıdır.
WordPress’te wp-admin ve wp-include klasörlerine erişimi engellemek gerekmez. Bu bağlamda meta robot etiketiyle harika bir iş çıkarmak mümkündür. Ayrıca her arama motoru botu için farklı kurallar belirlemeye gerek yoktur. Sayfaların dizine girmesini engellemek için robots.txt yerine meta etiketlerinden de yararlanmak mümkündür. 

Robots.txt Neden Gereklidir?

Web projesinin robots.txt dosyasına sahip olmaması ya da doğru çalışmayan robots.txt dosyasına sahip olması arama motoru sıralamalarını olumsuz etkiler. Ayrıca dizine doğru sayfaların alınmaması da kullanıcıların nitelikli sayfalara ulaşmasını engeller. Buna bağlı olarak kullanıcılar ve arama motoru botları site hakkında olumsuz değerlendirmeler yapar. Web sitelerinin daha kaliteli kullanıcı deneyimleri sağlaması için robots.txt dosyalarını doğru şekilde kullanmaları gerekir. 

Türkiye’de hosting artık daha.net!