Yazıya Yorum Gönder!

Wordpress İçin Robots.txt Dosyası

WordPress scriptinde arama motoru botlarının daha rahat dolaşması ve gerekli olanı indexleyip, gereksiz olanı indexlememesi için ana dizine atmamız gereken robots.txt dosyasını aşağıda bulabilir ve kullanabilirsiniz.. Kodlarda faydalı botlara izin verilmiş, botların giremeyeceği, girmemesi gereken dizinler, klasör ve dosyalar yazılmış ayrıca en sonda (sitenizde sitemap var ise kullanın yoksa silin) sitemap url’si hazırlanmıştır..

Size kalan tek şey belgeye sitemap url’nizi girip, kayıt edip gerekli yere göndermek..

DİKKAT! Yazı, 9 Ağustos 2008 tarihinde yayınlanmıştır ve erişim sağladığınız tarihte güncelliğini yitirmiş olabilir. Eklemek veya düzeltmek istedikleriniz olursa yazı altından yorum yazabilirsiniz.

Not: Yazı 9 Kasım 2018 tarihinde güncellendi.

Aşağıdaki kodların hepsini not defteri belgesine yapıştırın, robots.txt adıyla kayıt edip sitenizin ftp alanına (site ana dizindeyse ana dizine) atın.

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content 
Disallow: /httpd/ 
Disallow: /cgi-bin/ 
Disallow: /stats/ 
Disallow: /wp- 
Disallow: /feed/
Allow: /tag
User-agent: Mediapartners-Google Allow: /
User-agent: Adsbot-Google Allow: /
User-agent: Googlebot-Image Allow: /
User-agent: Googlebot-Mobile Allow: /
User-agent: YandexBot Allow: /
User-agent: * Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank
User-agent: Yandex Allow: / 
User-agent: Cuil Allow: /
User-agent: Slurp Disallow:/
User-agent: Yahoo Disallow:/
User-agent: Yahoo! Slurp Disallow:/
User-agent: ia_archiver-web.archive.org Disallow: /
User-agent: aipbot Disallow: /
User-agent: BecomeBot Disallow: /
User-agent: psbot Disallow: /
User-agent: fast Disallow: /
User-agent: GigaBot Disallow: /
User-agent: Voyager Disallow: /
User-agent: BaiDuSpider Disallow: /
User-agent: BackRub/*.* Disallow: /
User-agent: Grub.org Disallow: /
User-agent: BotRightHere Disallow: /
User-agent: larbin Disallow: /
User-agent: psbot Disallow: /
User-agent: Walhello appie Disallow: /
User-agent: Python-urllib Disallow: /
User-agent: CherryPicker Disallow: /
User-agent: EmailCollector Disallow: /
User-agent: WebBandit Disallow: /
User-agent: EmailWolf Disallow: /
User-agent: CopyRightCheck Disallow: /
User-agent: Crescent Disallow: /

Sitemap: http://www.siteadresi.com/sitemap.xml

Benim kullandığım:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /eyeblaster
Disallow: /addineyeV2.html
Disallow: /eyeblaster/addineyeV2.html

Allow: /tag

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: *
Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank

User-agent: Yandex
Allow: /
Host: www.myhost.ru
Host: www.myhost-.ru
Host: www.-myhost.ru
Host: www.myhost.ru:100000
Host: www.my_host.ru
Host: .my-host.ru:8000
Host: my-host.ru.
Host: my..host.ru
Host: www.myhost.ru/
Host: www.myhost.ru:8080/
Host: http://www.myhost.ru
Host: 213.180.194.129
Host: www.firsthost.ru,www.secondhost.ru
Host: www.firsthost.ru www.secondhost.ru

User-agent: Cuil
Allow: /

User-agent: Slurp
Allow: /

User-agent: Yahoo
Allow: /

User-agent: Yahoo! Slurp
Allow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

User-agent: aipbot
Disallow: /

User-agent: BecomeBot
Disallow: /

User-agent: psbot
Disallow: /

User-agent: fast
Disallow: /

User-agent: GigaBot
Disallow: /

User-agent: Voyager
Disallow: /

User-agent: BaiDuSpider
Disallow: /

User-agent: BackRub/*.*
Disallow: /

User-agent: Grub.org
Disallow: /

User-agent: BotRightHere
Disallow: /

User-agent: larbin
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Walhello appie
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

Sitemap: http://www.siteadresi.com/sitemap.xml

>> Web Tasarım ile Uğraşanlar için Faydalı Bağlantılar

Bu yazıyı beğendiyseniz ve bana destek olmak isterseniz; henüz yeni açmış olduğum Youtube kanalıma abone olabilir yada yazımı Facebook ve Twitter'da paylaşabilirsiniz.

facebook share
twittershare


Teşekkür ederim!


    hawa 29 Kasım 2014, 12:44

    Ben telimde faceye giremiyorum robots.txt li bisiler yazio.ve ben bu sayfayi da engellediyse m nasil kaldircami bilmiyorum ..ne yapmam lazim….

    admin 29 Kasım 2014, 15:50

    @hawa; Merhaba. Sorunu mobil tarayıcı üzerinden yaşıyorsanız tarayıcı uygulamasını kaldırıp tekrar kurun, önbelleği temizleyin veya farklı bir mobil tarayıcı kurup deneyin. Tarayıcınız bozulduğu için siteyi arama motoru botları gibi görüntülüyor olabilir.

    mehmet 25 Aralık 2015, 10:14

    Enigma teması ile WordPress 4.4. Arama motorları engellendi. bu hata neden oluyor yardımcı olabilirmisiniz. birde sitemi arama motorlarında ararken .www.örnek.com alan adının alında bu yazıyı görüyorum,, Index of /. Name Last modified Size Description. directory cgi-bin 26-Nov-2015 13:06 -. Proudly Served by LiteSpeed Web Server at

    Lordiz 25 Aralık 2015, 19:43

    @mehmet; Merhaba. Admin panelden arama motorlarını engellemediyseniz robots.txt dosyası veya .htaccess üzerinden engellenmiş olabilir. Wp admin panelde Ayarlar > Okuma sayfasında Arama motoru görünürlüğü seçeneğinde tik olmaması gerekiyor. Robots dosyasında ise Google vd. botlarda disallow yazmaması gerekiyor.

    Arama sonucunda gördüğünüz alt bilgi sitenizi kurmadan önceki boş ftp görünümü oluyor. Site dosyalarını atmadan önce ftp’de cgi-bin klasörü olur, onun son düzenleme tarihi ve sunucuda LiteSpeed kullanıldığını gösteren bilgi.. Arama motoru sitenize tekrar geldiğinde bu kısım değişir, yani bir sorun yok.

    SEQ 24 Kasım 2017, 12:59

    siteniz cok faydalı bilgili böyle bir wep kurduğunuz için cok tşkler ederim

    Özkan 09 Kasım 2018, 15:03

    Admin selam,
    Sitem için verdiğin kodu aynen uyguladım..
    2008 yılında yapmış olduğun bu kod çalışması şuan 2018 için hala uygunluğu var mıdır?
    Google kendini sürekli olarak yenilediğinden dolayı konunun tekrardan güncellenmesi konusunda yardımın dokunur mu acaba ?
    Saygılar.

    Lordiz 09 Kasım 2018, 15:15

    @Özkan; Merhaba. Robots.txt aslında hep aynıdır büyük değişimler olmaz yüklediğiniz eklentiler haricinde. Yazıma güncel kendi robots.txt içeriğimi de ekledim ama rss’leri kapadığım ve mobil eklenti için eklediğim komutları kaldırdım. İstediğiniz şekilde kendinize göre değiştirip kullanabilirsiniz.

    Özkan 09 Kasım 2018, 18:35

    Çok sağol.
    Teşekkür ederim…

Üyeliksiz Yorum Bırak

Sorularınıza gelen cevapları görmek için sayfayı CTRL+D tuşları ile Yer İmlerine eklemeyi unutmayın.


Lordiz.com © 2008~2018