Merhaba değerli teknobu takipçileri ;Bu yazımızda sizlere daha çok nasıl en iyi bir şekilde web siteniz için robot.txt dosyası oluşturulur örnek bir robot.txt dosyası paylaşmayı amaçlamış bulunmaktayım. İster WordPress içerik yönetim sistemli bir Web Sitemiz olsun ya başka bir script içeren Web Sitesi olsun olmazsa olmazlarından gereken bir şey vardır ki yazının başlığında da anlaşıldığı şekilde robots.txt dosyamız.

Robots.txt dosyanızın neleri Arama Motorlarının dizine alması yada almaması gerektiğini ayarlayacağınız bir konsol gibi bir şey olduğunu en az sizde benim kadar biliyorsunuzdur. Önemli olan ise sitenin kendi özel bilgilerini yayınlaması değilde yazılarınızı yorumlarınızı yayınlanmasıdır. İşte buyurun sizlere bir örnek site haritası .

sitemap: http://www.siteadiniz.com/sitemap.xml

User-agent: *

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Googlebot-Mobile

User-agent: Adsbot-Google
Allow: /

Yukarı’da belirtmiş olduğum gibi metin’de kopyala yapıştır yapmadan önce dikkat etmeniz gereken yer ise siteadiniz.com ‘u kendi site adınızla değiştirmeniz gerekmektedir. Bunun haricin’de her şeyi kopyala yapıştır ile yapabilirsiniz. Bir sonraki yazımızda görüşmek üzere sizleri seviyoruz sağlıcakla kalın 🙂