Kurumsal Seo Fiyat Teklifi
Seo

Robots.txt Dosyası Nedir ? Nasıl Oluşturulur?

Robots.txt Dosyası Nedir? Robots.txt Dosyası Doğru Kullanımı

Robots.txt dosyası, arama motoru botlarının sitenizde erişmesini istemediğiniz alanları arşivlemek için kullanılması gereken kısmıdır. Web sitenizi tarayan ve indexleyen botların, sitenize ziyaretinde varsa eğer ilk uğrayacağı yer Robots.txt dosyasıdır.

Robots.txt dosyasını doğru oluşturmak, siteniz için oldukça önem taşır. Yanlış hazırlanan bir robots.txt dosyası bu botların sitenizde önemli verileri erişime kapatmasına yol açabilir.

Robots.txt Dosyası Nedir?

Basit bir komut dosyası olan ancak birçok veriyi nasıl yönetilmesi gerektiği hakkında botlara imkan tanıyan robots.txt dosyası, sitenizi ziyaret eden arma botlarının ilk uğrayacağı adrestir. Burada bulunan dosyaları tarar ve dizine ekleyip eklemeyeceği izinleri kontrol ederek, sitede gerekli indexlemeyi yapar.

Robots.txt dosyası her web sitesinde olması gereken bir dosya biçimidir. Bu sayede arama motorlarında görünmesini istediğiniz ya da istemediğiniz veri ve alanları kontrol altına alabilirsiniz.

Doğru hazırlanan bu komut dosyası sayesinde taranmasını istediğiniz alanları düzenleyebilirsiniz. Yanlış hazırlanan robots.txt dosyası ise sitenin büyük zararlar görmesine neden olabilir.

Robots.txt Dosyası Kuralları

Belli başlı kurallara sahip olan robots.txt dosyasının en önemli 3 noktası bulunmaktadır. Bu noktalar dahilinde hazırlanmalı ve sitenin kök dizinine yerleştirilmelidir.

  • Robots.txt dosyasının mutlaka kök dizininde olması gereklidir
  • Robots.txt dosyasının sitenin URLsi ile aynı formata sahip olması gereklidir.
  • Robots.txt dosyasının karakter kodlamasının UTF-8 uygunluğu sağlanmalıdır.

Robots.txt dosyasının herhangi bir başka klasör içerisinde yer almaması sadece sitenin kök dizininde olması gerekmektedir. Buna örnek olarak;

https://www.siteismi.com/robots.txt Doğru Olan

https://www.siteismi.com/main/robots.txt Yanlış olan

UTF-8 Karakter Kodlaması

Düz metinden oluşması gereken robots.txt dosyası mutlaka UTF-8 karakteri ile hazırlanmalıdır. Farklı karakter kullanmamaya özen göstermelisiniz. Ayrıca bu dosyanın her zaman için çalışır durumda olması gereklidir. Robots.txt dosyanı site URL niz ile aynı olmalıdır.

Grup Komutları

  • Arama Motoru robotu Engelleme – İzin Verme
  • Dizin Engelleme – İzin Verme
  • Sayfa Engelleme – İzin Verme
  • Tarama Gecikmesi Belirtme

Grup Dışı Komutlar

  • Site Haritası Belirtme
  • Yorum ve Notlar

User – Agent

Sitenize hangi arama moturu botunun ziyaret edebileceğini belirlemenize yarayan dizindir. Hangi arama motoru tarafından taranmak istemiyorsanız User-agent kullanabilirsiniz.

Kullanımı

Arama motoru botlarının tümüne engelleme koymak için;

  • User-agent: *
  • Disallow

Arama motoru botlarının tümüne izin vermek için;

  • User-agent:

Dizin Engelleme – İzin Verme

Sitenizde belirleyeceğiniz alanların botlar tarafından taranmasını yada taranmamasını sağlayabileceğiniz komuttur.

Kullanımı

Sitenizde yer alan bazı görsellerin taranmasını istemiyor iseniz;

  • User-agent:*
  • Disallow: /resim/

İstediğiniz dizinin botlar tarafından taranmasını ve incelenmesini bu sayede engelleyebilirsiniz.

Sayfa Engelleme – İzin Verme

Arama botlarının hangi sayfalara erişmesini istemediğiniz komutları içermektedir. Allow veya disallow ile istediğiniz sayfanın erişimini durdurabilirsiniz.

Kullanımı

  • User-agent: *
  • Disallow: /belge.html/

Bu sayede yukarıda belirtilen satırın erişimi engellenecektir. Örneğin, https://www.siteismi.com/belge.html

Tarama Gecikmesi Sağlama

Sitenizin sizin belirleyeceği süre zarfında botlar tarafından taranmasının sağlanacağı bir komut sistemidir. Bu işlemi pek fazla kullanmanız önerilmez. Ancak site trafiği çok yoğun olan ve buna bağlı yaşanan hatalarda veya sunucuya bağlı site sorunlarında bu işlemi gerçekleştirebilirsiniz.

Kullanımı

Belirleyeceğiniz zaman diliminde botların sitenizi ziyaret etmesi ve bu zaman içerisinde gerekli sayfaları taraması işlemini yapabilirsiniz. Ancak belirlenen zaman bittiğinde botlar geri kalan dizin dosyalarını tarayamamış olacaktır.

  • User-agent: googlebot
  • Crawl-delay: 15

Crawl – delay komutu ile botların tarama zaman dilimini belirleyebilirsiniz. Örneğin 15 dakika.

Sitemap – Grup Dışı Komutlar

Arama motoru botları sitenizi ziyarete geldiğinde Robots.txt dosyası ile birlikte sitemap.xml olması gerekmektedir. Botlara en doğru bilgileri verecek olan dosya sitemap.xml dir. Her sitede olması gereken bir dizindir. Diğerlerinde oldu gibi bu dizinde de doğru URL yazılmalıdır.

  • User-agent: *
  • Sitemap: https://www.siteismi.com/sitemap.xml

Özel Komutlar

Arama robotlarının sitenizde ulaşmasını istemediğiniz alanlarda uygulayabileceğiniz özel komutları Robots.txt ye ekleyebilirsiniz.

  • User-agent: *
  • Disallow: / *!

URL içerisinde yer alan ünlem işareti ile sahip olunan URL tamamen robotların erişimine kapatılmıştır. Bunun için farklı karakterlerde kullanabilirsiniz. Tüm hazırlanan bu karakterler ile robotlar erişime engellenecektir.

Ayrıca .asp uzantısına sahip olduğunuz URL içinde bu durum geçerlidir.

  • User-agent: googlebot
  • Disallow: /*.asp!

.asp! ünlem işaretine sahip .asp uzantısında da bu işlemi gerçekleştirebilirsiniz.

Robots.txt Neden Kullanmalısınız?

Robots.txt dosyası hemen hemen her sitede mutlaka olması gereken bir dosyadır. Bu sayede Google ve diğer arma botları ile iletişimi sağlayabilir. Sitenizin robotlar tarafından nasıl, hangi şekilde ziyaret edilmesine müdahale edebilirsiniz.

Sitenizde yürüttüğünüz bir çalışma, tasarım değişikliği, güncelleme ve benzeri durumlarda bu komut dosyasını kullanarak robotların erişimini engelleyebilirsiniz. Bu sayede hali hazırda henüz bitmemiş projenize robotları dahil etmeden devam edebilirsiniz.

Her zaman için robots.txt dosyası ile bu molanın ardından robotları site ziyaretine çekmeniz daha makul olacaktır. Böylelikle parça parça sitenizi taramaları ve dezavantaj yaratmaları yerine sitenizin bitmiş ve güncel hali ile tarayıp arşivlemeleri en mantıklısı olacaktır.

Not: Daha önce indexlenen ve taranan sayfaları Robots.txt dosyasıyla tekrar engelleme yapılamaz.

Sayfa engellenmiş ve arama motoru ziyaretçisi o sayfa adına bir arama gerçekleştirmiş ise sayfa açıklaması yerine şu ibareyi gösterecektir.

‘’Bu sitenin robots.txt dosyası olduğundan, bu sonuç için bir açıklama bulunmamaktadır. Daha fazla bilgi ediniz.’’ Yazmaktadır.

Not: Robots.txt dosyasında yaptığınız engelleme, o sayfayı hala arama motorlarında gösteriyorsa, bunun sebebi farklı web sitelerinden o sayfanın link almış olması olabilir. Ancak bu durumu artık robots.txt dosyasından dizin engelleme ile değiştiremezsiniz. Bunun yerine engellemeye son verip ‘’noindex meta’’ etiketini kullanabilirsiniz.

Örneklemeler

  • User-agent: *
  • Disallow: /gizli/
  • Allow: /gizli/gizli.html
  • Disallow erişime kapalı, allow erişime açık ibaresidir.
  • User-agent: *
  • Disallow: /tasarim/
  • User-agent: *
  • Allow: /tasarim/

Robots.txt dosyasını mümkün olduğunda dikkatli incelemeli ve dikkatli kullanmalısınız. Herhangi bir yanlışlık yapma kaygısında Google Search Console Robots.txt test aracını kullanabilirsiniz.

Ayrıca robots.txt dosyası hakkında daha detaylı bilgiye erişmek için de robots.txt Spesifikasyonları rehber sayfasını inceleyebilirsiniz.

Yeni kuracağınız, yada hali hazırda olan web sitenizde ilk yapmanız gereken işlem robots.txt dosyası oluşturmaktır. Seo konusunda da dezavantaj yaratacak olan bu dosyanın olmayışı, sizi arama motorlarında göstermeyecektir. Ancak bir robots.txt dosyasına sahip olarak rekabete başlayabilirsiniz. Yani arama motorlarının sizi bulmasını, sitenizi arşivlemesi, ziyaretçilere sitenizden sayfalar önermesini, aratılan olarak sizi sonuçlara çıkarmasını ancak bu dosya ile sağlayabilirsiniz.

Cpanel veya ftp ile dosyalarınızın ana dizinine girerek, robots.txt dosyası oluşturabilirsiniz.

Bir önce ki  En Popüler Google Fontlar yazımızı okuyabilirsiniz.

[Toplam:1    Ortalama:5/5]
Benzer Yazılar
SeoÜcretsiz İçeriklerWordpress

Yoast Seo Kurulumu ve Ayarları Nasıl Yapılır? 2019

Seo

Seo Nedir ve Nasıl Yapılır? Doğal Seo Çalışmaları

Seo

Büyük Çekirdek Güncellemesi Google Florida 2 

SeoWordpress

Wordpress Site Hızlandırma Yöntemleri

1 Comment

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir