Robots.txt Dosyası Nasıl Optimize Edilir?

Teknik SEO’nuz üzerinde çalışırken kontrol etmeniz ve optimize etmeniz gereken ilk şeylerden biri robots.txt dosyasıdır. Robots.txt dosyanızdaki bir sorun veya yanlış yapılandırma, sıralamalarınızı ve trafiğinizi olumsuz yönde etkileyebilecek kritik SEO sorunlarına neden olabilir.

Bu yazıda, robots.txt dosyasının ne olduğunu, neden gerekli olduğuna, SEO’nun nasıl optimize edileceğine ve arama motorlarının sorunsuz bir şekilde erişebildiğini öğreneceksiniz.

WordPress kullanıyorsanız, bu makalenin sonuna doğru, WordPress robots.txt dosyası hakkında temel bilgiler vardır.

Robots.txt dosyası nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motorlarına tarayıcılarına, tarama ve indeksleme işlemi sırasında hangi sayfaları tarayabilecekleri ve dizine ekleyebilecekleri konusunda talimatlar veren bir metin dosyasıdır.

Google botların bir web sitesini ziyaret ederken ilk yaptıkları şey robots.txt dosyasının içeriğini aramak ve kontrol etmektir.

Dosyada belirtilen kurallara bağlı olarak, tarayabilecekleri URL’lerin bir listesini oluştururlar ve daha sonra belirli bir web sitesi için dizin oluştururlar.

Bir robots.txt dosyasının içeriği halka açıktır. Aksi takdirde korunmadıkça, herkes robots.txt dosyanızı ekleyebilir, bu nedenle başkalarının görmesini istemediğiniz bir içerik eklemek için uygun bir yer değildir.

Bir robots.txt dosyanız yoksa ne olur? 

Bir robots.txt dosyası eksikse, arama motoru tarayıcıları, belirli bir web sitesinin herkese açık sayfalarının taranabileceğini ve dizine eklenebileceğini varsayar.

Robots.txt düzgün biçimlendirilmemişse ne olur? 

Bu konuya bağlı. Eğer arama motorları dosyanın konfigürasyonunu yanlış yaptıkları için anlayamıyorlarsa, yine de web sitesine erişecekler ve robots.txt içerisindeki içeriği görmezden geleceklerdir.

Yanlışlıkla arama motorlarının web siteme erişmesini engellersem ne olur?

Bu büyük bir problem. Yeni başlayanlar için, web sitenizdeki sayfaları taramayacak ve dizine ekleyemeyecekler ve dizinde zaten mevcut olan sayfaları aşamalı olarak kaldıracaklar.

Bir robots.txt dosyasına ihtiyacınız var mı?

Evet! Web sitenizin hiçbir sayfasını veya dizinini arama motoru sonuçlarında görünmesini engellemek istemeseniz bile kesinlikle bir robots.txt dosyanız olması gerekir.

Neden bir robots.txt kullanıyorsunuz?

Robots.txt dosyasının en yaygın kullanım durumları şunlardır:

1- Arama motorlarının web sitenizdeki belirli sayfalara veya dizinlere erişmesini engellemek için.

Örneğin, aşağıdaki robots.txt dosyasına bakın ve izin verilmeyen kurallara dikkat edin.

Bu ifadeler, arama motoru tarayıcılarına belirli dizinleri endekslememelerini söyler. Joker karakter olarak * kullanabileceğinizi unutmayın.

2- Büyük bir web siteniz olduğunda, tarama ve dizine ekleme çok yoğun bir işlem olabilir. Çeşitli arama motorlarından gelen tarayıcılar tüm sitenizi taramaya ve dizine eklemeye çalışacak ve bu ciddi performans sorunları yaratacaktır.

Bu durumda, web sitenizin SEO veya sıralama için önemli olmayan bazı bölümlerine erişimi kısıtlamak için robots.txt dosyasını kullanabilirsiniz. Bu şekilde, yalnızca sunucunuzdaki yükü azaltmazsınız, tüm indeksleme işlemini de daha hızlı yapar.

3 – Bağlı kuruluş bağlantılarınız için URL gizlemeyi kullanmaya karar verdiğinizde bu, kullanıcıları veya arama motorlarını kandırmak için içeriğinizi veya URL’lerinizi gizlemekle aynı değildir, ancak bağlı kuruluş bağlantılarınızı yönetmeyi kolaylaştırmak için geçerli bir işlemdir.

Robots.txt hakkında bilmeniz gereken iki önemli şey:

• İlk şey, robots.txt dosyasına eklediğiniz kuralların yalnızca yönergeler olmasıdır. Bu, kurallara uymanın ve bunlara uymanın arama motorlarına bağlı olduğu anlamına gelir. Çoğu durumda yaparlar, ancak dizinlerine dahil edilmesini istemediğiniz içeriğiniz varsa, en iyi yol, belirli bir dizini veya sayfayı şifreyle korumaktır.
• İkincisi, bir sayfayı veya dizini robotlarda engelleseniz bile, zaten dizinde olan diğer sayfalardan bağlantılar varsa, yine de arama sonuçlarında görünebilir. Başka bir deyişle, robots.txt dosyasına sayfa eklemek, web’de kaldırılacağını veya görünmeyeceğini garanti etmez.

Sayfayı veya dizini koruyan şifrenin yanı sıra, sayfa yönergelerini kullanmak başka bir yoldur.

Robots.txt nasıl çalışır?

Robot dosyası çok basit bir yapıya sahiptir. Kullanabileceğiniz önceden tanımlanmış bazı anahtar kelime / değer kombinasyonları vardır.

En yaygın olanları: Kullanıcı aracısı, İzin Verme, İzin Ver, Tarama gecikmesi, Site Haritası.

Kullanıcı aracısı: Hangi tarayıcıların yönergeleri dikkate alması gerektiğini belirtir. Tüm tarayıcılara referans vermek için * kullanabilirsiniz veya bir tarayıcının adını belirtebilirsiniz, aşağıdaki örneklere bakın.

User-agent: *– tüm tarayıcıları içerir. 
User-agent: Googlebot– talimatlar yalnızca Google bot içindir.

İzin Verme: Bir URL’yi veya bir web sitesinin bir bölümünü taramaması için (yukarıda belirtilen) bir kullanıcı aracısına talimat veren talimat.

İzin vermenin değeri belirli bir dosya, URL veya dizin olabilir. Google desteğinden alınan aşağıdaki örneğe bakın.

Robots.txt dosyasındaki disallow kurallarına örnek.

İzin Ver: Hangi sayfalara veya alt klasörlere erişilebileceğini açıkça söyleyen yönerge. Bu yalnızca Googlebot için geçerlidir.

Ana dizine izin verilmediyse de, web sitenizdeki belirli bir alt klasöre erişim izni vermeyi kullanabilirsiniz .

Örneğin, Fotoğraflar dizininize erişimi engelleyebilir, ancak Fotoğraflar’ın altında bulunan BMW alt klasörünüze erişime izin verebilirsiniz.

User-agent: *
Disallow: /photos
Allow: /photos/bmw/

Tarama gecikmesi: Bir sonraki sayfayı web sitenizden taramadan önce arama motoru tarayıcılarının belirli bir süre beklemesini sağlamak için bir tarama gecikme değeri belirleyebilirsiniz. Girdiğiniz değer milisaniye cinsindendir.

Unutulmamalıdır gecikmeli tarama Googlebot tarafından dikkate alınmaz.

Google’ın tarama oranını kontrol etmek için Google Arama Konsolu‘nu kullanabilirsiniz (seçenek, Site Ayarları altında bulunur).

Binlerce sayfalık bir web siteniz varsa ve sunucunuzu sürekli isteklerle doldurmak istemiyorsanız tarama hızını kullanabilirsiniz.

Çoğu durumda, tarama geciktirme yönergesini kullanmamalısınız.

Site Haritası: sitemap yönergesi Google gibi büyük arama motorları tarafından desteklenmekte ve sizin konumunuzu belirtmek için XML Site Haritası kullanılır.

XML site haritasının konumunu robotlarda belirtmeseniz bile, arama motorları onu bulabilir.

Örneğin, bunu kullanabilirsiniz:

Sitemap: https://example.com/sitemap.xmlya da diğer bir şekildehttps://example.com/sitemap_index.xml

Önemli: Robots.txt büyük / küçük harf duyarlıdır. Bu, eğer bu yönergeyi eklerseniz Disallow: /File.html, file.html dosyasını engellemeyeceği anlamına gelir.

Bir robots.txt nasıl oluşturulur?

Bir robots.txt dosyası oluşturmak kolaydır. İhtiyacınız olan tek şey bir metin editörü (parantez veya not defteri gibi) ve web sitenizin dosyalarına erişim (FTP veya kontrol paneli aracılığıyla).

Bir robot dosyası oluşturma sürecine girmeden önce yapılacak ilk şey, zaten bir dosyanız olup olmadığını kontrol etmektir.

Bunu yapmanın en kolay yolu, yeni bir tarayıcı penceresi açmak ve https://www.siteadiniz.com/robots.txt adresine gitmek.

Aşağıdakine benzer bir şey görürseniz, zaten bir robots.txt dosyanız var demektir ve yeni bir tane oluşturmak yerine mevcut dosyayı düzenleyebilirsiniz. 

Robots.txt dosyanızı nasıl düzenlersiniz?

User-agent: *
Allow: /
 

Favori FTP istemcinizi kullanın ve web sitenizin kök dizinine bağlanın.

Robots.txt her zaman kök klasörde bulunur (sunucunuza bağlı olarak www veya public_html).

Dosyayı PC’nize indirin ve bir metin editörüyle açın.

Gerekli değişiklikleri yapın ve dosyayı sunucunuza geri yükleyin.

Yeni bir robots.txt nasıl oluşturulur?

Zaten bir robots.txt dosyanız yoksa, bir metin editörü kullanarak yeni bir .txt dosyası oluşturun, direktiflerinizi ekleyin, kaydedin ve web sitenizin kök dizinine yükleyin.

Önemli: Dosya adınızın robots.txt olduğundan ve başka bir şey olmadığından emin olun . Ayrıca, dosya adının büyük / küçük harf duyarlı olduğunu, bu nedenle hepsinin küçük harf olması gerektiğini unutmayın.

Robots.txt dosyasını nereye koymalıyız?

robots.txt her zaman web sitenizin kökünde yer almalı, hiçbir klasörde olmamalıdır.

Bir robots.txt örneği

Tipik bir senaryoda, robots.txt dosyanız aşağıdaki içeriğe sahip olmalıdır:

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Bu, tüm botların web sitenize herhangi bir engel olmadan erişmesine izin verir. Ayrıca, arama motorlarının yerini bulmasını kolaylaştırmak için site haritası konumunu da belirtir.

Robots.txt dosyanızı nasıl test edebilir ve doğrulayabilirsiniz?

Robots.txt’nizin içeriğini robots.txt URL’sine bakarak görüntüleyebilirsiniz, test etmenin ve doğrulamanın en iyi yolu , Google Arama Konsolunun robots.txt Test Cihazı seçeneğinden geçmektir.

Google Arama Konsolu Hesabınıza giriş yapın.

Tarama seçenekleri altında bulunan robots.txt Test Cihazına tıklayın.

Her şey yolunda giderse, Test düğmesi yeşile dönecek ve etiket ALLOWED olarak değişecektir. Bir sorun varsa, izinsizliğe neden olan çizgi vurgulanır.

Robots.txt test aracı hakkında bilinmesi gereken birkaç şey:

1. Web sitenizden bir URL girmek ve engellenip engellenmediğini test etmek için URL Test Cihazı’nı kullanabilirsiniz.
2. Editörde herhangi bir değişiklik yapabilir ve yeni kurallara bakabilirsiniz ancak bunların canlı robots.txt dosyasına uygulanabilmesi için dosyanızı bir metin editörüyle DÜZENLENİR ve dosyayı web sitenizin kök klasörüne yüklemelisiniz (yukarıda açıklandığı gibi)
3. Google’a robots.txt dosyanızda değişiklik yaptığınızı bildirmek için, GÖNDER düğmesini tıklayın (yukarıdaki ekrandan) ve açılır pencereden tekrar GÖNDER düğmesini tıklayın (yukarıda gösterildiği gibi seçenek 3).

Robots.txt ve WordPress

Robots.txt hakkında şimdiye kadar okuduğunuz her şey, WordPress web siteleri için de geçerlidir.

Robots.txt ve WordPress hakkında bilmeniz gerekenler şunlardır:

Geçmişte, WordPress web sitelerinin wp-admin ve wp-içeren klasörlere erişimi engellemesi robots.txt aracılığıyla önerildi.

@header( 'X-Robots-Tag: noindex' );robots.txt dosyasına izin vermeyecek   şekilde aynı işi yapan etiket.

Sanal bir robots.txt dosyası nedir?

WordPress varsayılan olarak sanal bir robots.txt dosyası kullanıyor. Bu, dosyayı doğrudan düzenleyemeyeceğiniz veya dizininizin kökünde bulamayacağınız anlamına gelir.

Dosyanın içeriğini görmenin tek yolu, tarayıcınıza https://www.siteadiniz.com/robots.txt yazmanızdır.

WordPress robots.txt dosyasının varsayılan değerleri şunlardır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Arama Motoru Görünürlük Ayarları altındaki “ Arama motorlarının bu siteyi dizine eklemesini engelle ” seçeneğini etkinleştirdiğinizde , robots.txt şu şekilde olur:

User-agent: *
Disallow: /

Temel olarak tüm tarayıcıların web sitesine erişimini engeller.

Robots.txt dosyasını WordPress’te nasıl düzenlerim?

WordPress tarafından sağlanan sanal robots.txt dosyasını doğrudan düzenleyemediğinizden, düzenlemenin tek yolu yeni bir tane oluşturmak ve web sitenizin kök dizinine eklemektir.

Kök dizinde fiziksel bir dosya bulunduğunda, sanal WordPress dosyası dikkate alınmaz.

Eğer wordpress siteniz için bir hosting (sunucu) sağlayıcı ile çalışıyorsanız robots.txt dosyasını bu sunucu sağlayıcı tarafından sağlanan CPanel (kontrol paneli) üzerinden düzenleyebilir veya güncelleyebilirsiniz. Ya da hostin sağlayıcı tarafından sağlanan FTP bilgileri sayesinde de robots.txt dosyalarına erişim sağlayarak da bu işlemleri yapabilirsiniz.

Robots.txt SEO En İyi Uygulamalar

Robots.txt dosyanızı test edin ve web sitenizin arama motorlarında görünmesini istediğiniz hiçbir bölümünü engellemediğinizden emin olun.

CSS veya JS klasörlerini engellemeyin. Tarama ve dizine ekleme işlemi sırasında Google, gerçek bir kullanıcı gibi bir web sitesini görüntüleyebilir ve sayfalarınızın JS ve CSS’nin düzgün çalışabilmesi gerekiyorsa, engellenmemeleri gerekir.

WordPress kullanıyorsanız, wp-admin ve wp-include klasörlerinize erişimi engellemenize gerek yoktur. WordPress meta robot etiketini kullanarak harika bir iş çıkarır.

Her arama motoru botu için farklı kurallar belirlemeye çalışmayın, güncel tutmak için kafa karıştırıcı ve zor olabilir. Kullanıcı aracını daha iyi kullanmak : * ve tüm botlar için bir kural kümesi sağlayın.

Sayfaların arama motorları tarafından dizine alınmasını engellemek istiyorsanız , robots.txt üzerinden değil, her sayfanın başlığında bulunanları kullanın.

Sonuç

Robots.txt dosyanızı yapılandırmak veya test etmek için çok fazla zaman harcamak zorunda değilsiniz. Önemli olan, Google Web Yöneticisi Araçları’ndan birine sahip olmak ve arama motoru tarayıcılarının web sitenize erişmelerini engellemediğinizi sınamaktır.

Web sitenizi ilk oluşturduğunuzda veya teknik SEO denetiminizin bir parçası olarak bir kez yapmanız gereken bir görevdir.