WordPress İçin Robots.txt Dosyası

Wordpress İçin Robots.txt Dosyası

WordPress scriptinde arama motoru botlarının daha rahat dolaşması ve gerekli olanı indexleyip, gereksiz olanı indexlememesi için ana dizine atmamız gereken robots.txt dosyasını aşağıda bulabilir ve kullanabilirsiniz.. Kodlarda faydalı botlara izin verilmiş, botların giremeyeceği, girmemesi gereken dizinler, klasör ve dosyalar yazılmış ayrıca en sonda (sitenizde sitemap var ise kullanın yoksa silin) sitemap url’si hazırlanmıştır..

Size kalan tek şey belgeye sitemap url’nizi girip, kayıt edip gerekli yere göndermek..

DİKKAT! Yazı, 9 Ağustos 2008 tarihinde yayınlanmıştır ve erişim sağladığınız tarihte güncelliğini yitirmiş olabilir. Eklemek veya düzeltmek istedikleriniz olursa yazı altından yorum yazabilirsiniz.

Not: Yazı 9 Kasım 2018 tarihinde güncellendi.

Aşağıdaki kodların hepsini not defteri belgesine yapıştırın, robots.txt adıyla kayıt edip sitenizin ftp alanına (site ana dizindeyse ana dizine) atın.

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content 
Disallow: /httpd/ 
Disallow: /cgi-bin/ 
Disallow: /stats/ 
Disallow: /wp- 
Disallow: /feed/
Allow: /tag
User-agent: Mediapartners-Google Allow: /
User-agent: Adsbot-Google Allow: /
User-agent: Googlebot-Image Allow: /
User-agent: Googlebot-Mobile Allow: /
User-agent: YandexBot Allow: /
User-agent: * Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank
User-agent: Yandex Allow: / 
User-agent: Cuil Allow: /
User-agent: Slurp Disallow:/
User-agent: Yahoo Disallow:/
User-agent: Yahoo! Slurp Disallow:/
User-agent: ia_archiver-web.archive.org Disallow: /
User-agent: aipbot Disallow: /
User-agent: BecomeBot Disallow: /
User-agent: psbot Disallow: /
User-agent: fast Disallow: /
User-agent: GigaBot Disallow: /
User-agent: Voyager Disallow: /
User-agent: BaiDuSpider Disallow: /
User-agent: BackRub/*.* Disallow: /
User-agent: Grub.org Disallow: /
User-agent: BotRightHere Disallow: /
User-agent: larbin Disallow: /
User-agent: psbot Disallow: /
User-agent: Walhello appie Disallow: /
User-agent: Python-urllib Disallow: /
User-agent: CherryPicker Disallow: /
User-agent: EmailCollector Disallow: /
User-agent: WebBandit Disallow: /
User-agent: EmailWolf Disallow: /
User-agent: CopyRightCheck Disallow: /
User-agent: Crescent Disallow: /

Sitemap: http://www.siteadresi.com/sitemap.xml

Benim kullandığım:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /eyeblaster
Disallow: /addineyeV2.html
Disallow: /eyeblaster/addineyeV2.html

Allow: /tag

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: *
Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank

User-agent: Yandex
Allow: /
Host: www.myhost.ru
Host: www.myhost-.ru
Host: www.-myhost.ru
Host: www.myhost.ru:100000
Host: www.my_host.ru
Host: .my-host.ru:8000
Host: my-host.ru.
Host: my..host.ru
Host: www.myhost.ru/
Host: www.myhost.ru:8080/
Host: http://www.myhost.ru
Host: 213.180.194.129
Host: www.firsthost.ru,www.secondhost.ru
Host: www.firsthost.ru www.secondhost.ru

User-agent: Cuil
Allow: /

User-agent: Slurp
Allow: /

User-agent: Yahoo
Allow: /

User-agent: Yahoo! Slurp
Allow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

User-agent: aipbot
Disallow: /

User-agent: BecomeBot
Disallow: /

User-agent: psbot
Disallow: /

User-agent: fast
Disallow: /

User-agent: GigaBot
Disallow: /

User-agent: Voyager
Disallow: /

User-agent: BaiDuSpider
Disallow: /

User-agent: BackRub/*.*
Disallow: /

User-agent: Grub.org
Disallow: /

User-agent: BotRightHere
Disallow: /

User-agent: larbin
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Walhello appie
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

Sitemap: http://www.siteadresi.com/sitemap.xml

>> Web Tasarım ile Uğraşanlar için Faydalı Bağlantılar