Robots.txt Nedir? WordPress Site İçin Nasıl Optimize Edilir?

Robots.txt Nedir? WordPress Site İçin Nasıl Optimize Edilir?

    Web sitelerinin teknik SEO’su üzerinde çalışılırken kontrol ve optimize edilmesi gereken en önemli unsurlardan biri robots.txt dosyasıdır. robots.txt dosyasındaki herhangi bir sorun ya da yanlış yapılandırma, sıralamaları ve trafiği olumsuz yönde etkileyebilecek kritik SEO sorunları yaşanmasına neden olabilir.
    robots.txt; web sitesinin kök dizininde yer alan ve arama motorlarına tarayıcılarına, tarama ve indeksleme işlemi sırasında hangi sayfaları tarayabilecekleri ve dizine ekleyebilecekleri ile ilgili talimatlar veren metin dosyası olarak tanımlanabilir.
    Google botlarının herhangi bir web sitesini ziyaret ederken ilk yaptığı şey robots.txt dosyasının içeriğini aramak ve kontrol etmek olur. Dosyada belirtilen kurallara bağlı olarak tarayabilecekleri URL’lerin bir listesini daha sonra da belirli bir web sitesi için dizin meydana getirirler.
    robots.txt dosyası içeriği halka açık olduğundan korunmadığı sürece herkesin robots.txt dosyanızı eklemesi mümkündür. Bu yüzden robots.txt dosyasının, başkalarının görmesi istenmeyen bir içeriğin eklenmesi için uygun bir yer olmadığı kabul edilmelidir.

    Bir robots.txt Dosyanız Yoksa Ne Olur?

    Bir robots.txt dosyası eksik olduğunda arama motoru tarayıcıları, belirli bir web sitesinin herkese açık sayfalarının taranabileceği ve dizine eklenebileceği mesajını alır. Robots.txt dosyası düzgün biçimlendirilmemişse ve arama motorları dosyanın konfigürasyonunu yanlış yaptıklarından anlayamıyorlarsa web sitesine erişmelerine rağmen robots.txt dosyası içindeki içeriği görmezden gelirler. Yanlışlıkla arama motorlarının web sitesine erişmesi engellendiği takdirde ciddi bir sorunla karşılaşılmış olur. Yeni başlayanlar için, web sitesindeki sayfalar taranmaz, dizine eklenmez ve dizinde hali hazırda bulunan sayfalar aşamalı olarak kaldırılır.
    Web sitesinin hiçbir sayfasının ya da dizininin arama motoru sonuçlarında görünmesini engellemek istenmese de mutlaka bir robots.txt dosyası olmalıdır. Robots.txt dosyasının en yaygın kullanım durumları şu şekilde sıralanabilir:

    • Arama motorlarının web sitesindeki belirli sayfalara ya da dizinlere erişmesini önlemek. Robots.txt dosyasında kullanılan ifadeler, arama motoru tarayıcılarına belirli dizinleri endekslememeleri gerektiğini söyleme görevini üstlenir. 
    • Büyük bir web sitesine sahip olunduğunda tarama ve dizine ekleme çok yoğun bir işlem süreci gerektirebilir. Çeşitli arama motorlarından gelen tarayıcıların tümü web sitesini taramaya ve dizine eklemeye çalışınca çok ciddi performans sorunlarıyla karşı karşıya kalınabilir. Bu durumda web sitesinin SEO ya da sıralama için önemli olmayan bazı bölümlerine erişimin kısıtlanması amacıyla robots.txt dosyasından faydalanılabilir. Böylece sunucudaki yükün azaltılmasının yanı sıra tüm indeksleme işleminin de daha hızlı bir şekilde yapılması mümkün olur. 
    • Bağlı kuruluş bağlantıları için URL gizleme kullanmaya karar verilirse bunun kullanıcıları ya da arama motorlarını kandırmak için içeriği ya da URL’leri izlemekle aynı şey olmadığı ancak bağlı kuruluş bağlantılarını yönetmeyi kolaylaştırma noktasında geçerli bir işlem olduğu unutulmamalıdır. 

    robots.txt Nasıl Çalışır?

    robots.txt dosyası çok basit bir yapıya sahip olduğu gibi kullanılabilecek önceden tanımlanmış birtakım anahtar kelime/değer kombinasyonları bulunur. En yaygın olanları; kullanıcı aracısı, izin ver, izin verme, site haritası, tarama gecikmesi şeklinde sıralanabilir.
    Kullanıcı aracısı, hangi tarayıcıların yönergeleriyle dikkate alması gerektiğini belirtmekte olup tüm tarayıcılara referans verilmesi için kullanılabilir ya da bir tarayıcı adı belirtilebilir.
    İzin verme, bir URL’i ya da bir web sitesinin bir bölümünü taramaması için bir kullanıcı aracısına talimat veren bir talimattır. İzin verme’nin değeri belirli bir dosya, URL ya da dizin olabilir.
    İzin ver, hangi sayfalara ya da alt klasörlere erişilebileceğini açıkça söyleyen bir yönerge olarak yalnızca Googlebot için geçerlidir. Ana dizine izin verilmediği takdirde web sitesindeki belirli bir alt klasöre erişim izni verilmesi tercih edilebilir.
    Tarama gecikmesi, bir sonraki sayfanın web sitesinden taranmadan önce arama motoru tarayıcılarının belirli bir süre beklemesini sağlamak amacıyla milisaniye cinsinden girilen bir tarama gecikmesi değeri belirlenebilir. Gecikmeli tarama Googlebot tarafından dikkate alınmamaktadır. Binlerce sayfalık web sitelerinde sunucunun sürekli isteklerle doldurulmak istenmemesi halinde tarama hızı kullanılabilir.
    Site haritası Google gibi büyük arama motorları tarafından desteklenir. Konumun belirtilmesi için XML site haritası kullanılır. XML site haritasının konumu robotlarda belirtilmese dahi arama motorlarının onu bulması mümkündür. 

    WordPress Site İçin Robots.txt Nasıl Optimize Edilir?

    WordPress kullanılan bir web projeniz varsa robots.txt dosyasına otomatik olarak sahip olursunuz. Ancak özelleştirme yaptığınız takdirde sisteminiz daha iyi sonuçlar alacaktır. Web projesinin robots.txt dosyasına sahip olup olmadığının kontrol edilmesi için;
    Alan adı/robots.txt uzantısı tarayıcıda aratabilir. Eğer bir robots.txt dosyasına sahipseniz karşınıza;
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Görünümlü bir sonuç çıkar. Buna sahip olunmadığı durumlarda ilgili sayfaya erişilemez. Robots.txt’yi özelleştirmek için iki farklı yöntem kullanılabilir.

    • Manuel Olarak robots.txt Oluşturma

    Manuel olarak robots.txt oluşturulması için bilgisayarda bulunan Not Defteri gibi bir metin programı açılır.
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Gösterilen kod metin programının içine yapıştırılır. Daha sonra dosya robots.txt olarak bilgisayara kaydedilir. FileZilla gibi bir FTP programıyla sistem dosyalarına erişilir. Sistem dosyaları içinde bulunan public_html klasörü açılır ve bilgisayarda oluşturulan robots.txt dosyasına yüklenir. 

    • YoastSEO Eklentisi ile robots.txt Oluşturma

    robots.txt Manuel olarak oluşturulabileceği gibi YoastSEO gibi eklentiler aracılığıyla da bu işlem kolayca yapılabilir. Bunun için önce WordPress sistemi içine ilgili eklenti yüklenir. Daha sonra YoastSEO eklentisinin araçlar menüsüne girilir. Dosya düzenleyici sekmesine tıklanır. Çıkan sayfadan robots.txt oluştur butonuna basılır. Robots.txt dosyasına istenilen kurallar tanımlanabilir.

    Robotx.txt’ye Kural Nasıl Eklenir?

    robots.txt üzerinden tanımlanabilecek iki talimat vardır. Bunlar “allow” ve “disallow” şeklinde tanılanır. Söz konusu talimatlar bot sistemlerinin herhangi bir klasöre erişimine izin verme ya da izin vermeme şeklinde gerçekleşir.
    WordPress tarafından sağlanan sanal robots.txt dosyası doğrudan düzenlenemediğinde yapılması gereken yeni bir tane oluşturarak web sitesinin kök dizinine eklenmesidir. Kök dizinde fiziksel bir dosya olduğunda sanal WordPress dosyası dikkate alınmayacaktır. WordPress sitesi için bir hosting sağlayıcı ile çalışılıyorsa robots.txt dosyası, bu sunucu sağlayıcı tarafından sağlanan cPanel üzerinden düzenlenebilir ya da güncellenebilir. Ya da hosting sağlayıcı tarafından sağlanan FTP bilgileri sayesinde de robots.txt dosyalarına erişim sağlanarak bu işlemlerin yapılması mümkündür.

    robots.txt SEO En İyi Uygulamalar

    robots.txt dosyası test edilir ve web sitesinin arama motorlarında görünmesi istenilen hiçbir bölümünün engellenmediğinden emin olunmalıdır. CSS ya da JS klasörleri engellenmemelidir. Tarama ve dizine ekleme işlemi esnasında Google tıpkı bir gerçek kullanıcı gibi web sitesini görüntüleyebilir. Sayfaların JS ve CSS’in düzgün çalışabilmesi gerekiyorsa engellenmemesi gereklidir.
    WordPress kullanılıyorsa wp-admin ve wp-include klasörlerine erişimin engellenmesi gerekmez. WordPress meta robot etiketi kullanılarak harika bir iş çıkarmak mümkündür. Her arama motoru botu için farklı kurallar belirlemeye çalışılmamalıdır. Sayfaların arama motorları tarafından dizine alınması engellenmek istenildiğinde, robots.txt üzerinden değil de her sayfanın başlığında bulunanlar kullanılmalıdır.

    robots.txt Neden Gereklidir?

    Robots.txt neden gereklidir?
    Web projesinin robots.txt dosyasına sahip olmaması ya da doğru şekilde hazırlanmamış bir robots.txt dosyasına sahip olması arama motoru sıralamalarını olumsuz yönde etkileyebilir. Ayrıca dizine doğru sayfaların alınmaması da kullanıcıların nitelikli sayfalara ulaşmasını engelleyebilir. Buna bağlı olarak kullanıcıların ve arama motoru botlarının değerlendirmesi sırasında web sitesinin kalitesinin düşmesi gibi istenmeyen durumlar ortaya çıkabilir.

    Yazıyı Paylaşın:
    Bu yazıyı yararlı buldunuz mu?

    Bu yazı için 0 yorum yazılmıştır.

    E-Posta hesabınız yayınlanmayacaktır. Gerekli alanlar * ile işaretlenmiştir.