Robots.txt, site içi seo çalışmalarında önem vermemiz gereken sitemizin iç yapısıyla ilgili düzenleme yaptığımız bir dosyadır. Robots.txt dosyasıyla sitemize gelen arama motoru botlarını yönlendirerek sitemizin daha doğru bir şekilde indexlenmesini sağlayabilir ve seo çalışmalarında yaptığımız basit görünen bu adımla büyük bir yol kat etmiş oluruz. 


robots.txt


Robots.txt dosyasıyla yalnız botları yönlendirmekle kalmaz verilerimizi çalmaya çalışan birçok yazılıma da karşı koyabiliriz. İndexlenmesini istemediğimiz yazılarımızı veya sayfalarımızıda bu dosya üzerinden düzenleyip botların es geçmesini sağlayabiliriz.

Robots.txt Nedir?

Robots.txt,  arama motoru botlarının web sitemiz üzerinde erişmesini istemediğiniz yerleri gösteren web sitemizin kök dizininde bulunan bir metin dosyasıdır. Yeni tasarladığımız bir websitesini tam olarak bitmediği için botların indexlememesi için bu dosyadan yardım alırız.


Robots.txt Nasıl Oluşturulur?

Robots.txt,dosyası oluşturulurken user-agent yapısını kullanarak yaparız. User-agent yalnızca google botlarını yönlendirmek için kullanılır.

Blogger için robots.txt;

Blogger siteler için en çok faydalı olduğunu düşündüğümüz robots.txt örneği.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://seocinim.blogspot.com/sitemap.xml

Blogger Robots.txt İndir

Wordpress için robots.txt;

Wordpress siteler için en çok faydalı olduğunu düşündüğümüz robots.txt örneği.

Sitemap: http://www.seocinim.com/sitemap.xml
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /

Wordpress Robots.txt İndir

Etiketler:robots.txt,robots.txt nedir,robots.txt nasıl oluşturulur

0 yorum