Yazıya Yorum Gönder!
facebook share twittershare

Wordpress İçin Robots.txt Dosyası

WordPress scriptinde arama motoru botlarının daha rahat dolaşması ve gerekli olanı indexleyip, gereksiz olanı indexlememesi için ana dizine atmamız gereken robots.txt dosyasını aşağıda bulabilir ve kullanabilirsiniz.. Kodlarda faydalı botlara izin verilmiş, botların giremeyeceği, girmemesi gereken dizinler, klasör ve dosyalar yazılmış ayrıca en sonda (sitenizde sitemap var ise kullanın yoksa silin) sitemap url’si hazırlanmıştır..

Size kalan tek şey belgeye sitemap url’nizi girip, kayıt edip gerekli yere göndermek..

DİKKAT! Yazı, 9 Ağustos 2008 tarihinde yayınlanmıştır ve erişim sağladığınız tarihte güncelliğini yitirmiş olabilir. Eklemek veya düzeltmek istedikleriniz olursa yazı altından yorum yazabilirsiniz.

Aşağıdaki kodların hepsini not defteri belgesine yapıştırın, robots.txt adıyla kayıt edip sitenizin ftp alanına (site ana dizindeyse ana dizine) atın.

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content 
Disallow: /httpd/ 
Disallow: /cgi-bin/ 
Disallow: /stats/ 
Disallow: /wp- 
Disallow: /feed/
Allow: /tag
User-agent: Mediapartners-Google Allow: /
User-agent: Adsbot-Google Allow: /
User-agent: Googlebot-Image Allow: /
User-agent: Googlebot-Mobile Allow: /
User-agent: YandexBot Allow: /
User-agent: * Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank
User-agent: Yandex Allow: / 
User-agent: Cuil Allow: /
User-agent: Slurp Disallow:/
User-agent: Yahoo Disallow:/
User-agent: Yahoo! Slurp Disallow:/
User-agent: ia_archiver-web.archive.org Disallow: /
User-agent: aipbot Disallow: /
User-agent: BecomeBot Disallow: /
User-agent: psbot Disallow: /
User-agent: fast Disallow: /
User-agent: GigaBot Disallow: /
User-agent: Voyager Disallow: /
User-agent: BaiDuSpider Disallow: /
User-agent: BackRub/*.* Disallow: /
User-agent: Grub.org Disallow: /
User-agent: BotRightHere Disallow: /
User-agent: larbin Disallow: /
User-agent: psbot Disallow: /
User-agent: Walhello appie Disallow: /
User-agent: Python-urllib Disallow: /
User-agent: CherryPicker Disallow: /
User-agent: EmailCollector Disallow: /
User-agent: WebBandit Disallow: /
User-agent: EmailWolf Disallow: /
User-agent: CopyRightCheck Disallow: /
User-agent: Crescent Disallow: /
Sitemap: http://www.siteadresi.com/sitemap.xml

>> Web Tasarım ile Uğraşanlar için Faydalı Bağlantılar

facebook share twittershare

    hawa 29 Kasım 2014, 12:44

    Ben telimde faceye giremiyorum robots.txt li bisiler yazio.ve ben bu sayfayi da engellediyse m nasil kaldircami bilmiyorum ..ne yapmam lazim….

    admin 29 Kasım 2014, 15:50

    @hawa; Merhaba. Sorunu mobil tarayıcı üzerinden yaşıyorsanız tarayıcı uygulamasını kaldırıp tekrar kurun, önbelleği temizleyin veya farklı bir mobil tarayıcı kurup deneyin. Tarayıcınız bozulduğu için siteyi arama motoru botları gibi görüntülüyor olabilir.

    mehmet 25 Aralık 2015, 10:14

    Enigma teması ile WordPress 4.4. Arama motorları engellendi. bu hata neden oluyor yardımcı olabilirmisiniz. birde sitemi arama motorlarında ararken .www.örnek.com alan adının alında bu yazıyı görüyorum,, Index of /. Name Last modified Size Description. directory cgi-bin 26-Nov-2015 13:06 -. Proudly Served by LiteSpeed Web Server at

    Lordiz 25 Aralık 2015, 19:43

    @mehmet; Merhaba. Admin panelden arama motorlarını engellemediyseniz robots.txt dosyası veya .htaccess üzerinden engellenmiş olabilir. Wp admin panelde Ayarlar > Okuma sayfasında Arama motoru görünürlüğü seçeneğinde tik olmaması gerekiyor. Robots dosyasında ise Google vd. botlarda disallow yazmaması gerekiyor.

    Arama sonucunda gördüğünüz alt bilgi sitenizi kurmadan önceki boş ftp görünümü oluyor. Site dosyalarını atmadan önce ftp’de cgi-bin klasörü olur, onun son düzenleme tarihi ve sunucuda LiteSpeed kullanıldığını gösteren bilgi.. Arama motoru sitenize tekrar geldiğinde bu kısım değişir, yani bir sorun yok.

Üyeliksiz Yorum Bırak

Sorularınıza gelen cevapları görmek için sayfayı CTRL+D tuşları ile Yer İmlerine eklemeyi unutmayın.


Lordiz.com © 2008~2017