WordPress scriptinde arama motoru botlarının daha rahat dolaşması ve gerekli olanı indexleyip, gereksiz olanı indexlememesi için ana dizine atmamız gereken robots.txt dosyasını aşağıda bulabilir ve kullanabilirsiniz.. Kodlarda faydalı botlara izin verilmiş, botların giremeyeceği, girmemesi gereken dizinler, klasör ve dosyalar yazılmış ayrıca en sonda (sitenizde sitemap var ise kullanın yoksa silin) sitemap url’si hazırlanmıştır..
Size kalan tek şey belgeye sitemap url’nizi girip, kayıt edip gerekli yere göndermek..
DİKKAT! Yazı, 9 Ağustos 2008 tarihinde yayınlanmıştır ve erişim sağladığınız tarihte güncelliğini yitirmiş olabilir. Eklemek veya düzeltmek istedikleriniz olursa yazı altından yorum yazabilirsiniz.
Not: Yazı 9 Kasım 2018 tarihinde güncellendi.
Aşağıdaki kodların hepsini not defteri belgesine yapıştırın, robots.txt adıyla kayıt edip sitenizin ftp alanına (site ana dizindeyse ana dizine) atın.
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /httpd/ Disallow: /cgi-bin/ Disallow: /stats/ Disallow: /wp- Disallow: /feed/ Allow: /tag User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: YandexBot Allow: / User-agent: * Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank User-agent: Yandex Allow: / User-agent: Cuil Allow: / User-agent: Slurp Disallow:/ User-agent: Yahoo Disallow:/ User-agent: Yahoo! Slurp Disallow:/ User-agent: ia_archiver-web.archive.org Disallow: / User-agent: aipbot Disallow: / User-agent: BecomeBot Disallow: / User-agent: psbot Disallow: / User-agent: fast Disallow: / User-agent: GigaBot Disallow: / User-agent: Voyager Disallow: / User-agent: BaiDuSpider Disallow: / User-agent: BackRub/*.* Disallow: / User-agent: Grub.org Disallow: / User-agent: BotRightHere Disallow: / User-agent: larbin Disallow: / User-agent: psbot Disallow: / User-agent: Walhello appie Disallow: / User-agent: Python-urllib Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / Sitemap: http://www.siteadresi.com/sitemap.xml
Benim kullandığım:
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /eyeblaster Disallow: /addineyeV2.html Disallow: /eyeblaster/addineyeV2.html Allow: /tag User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: YandexBot Allow: / User-agent: Twitterbot Allow: / User-agent: * Disallow: *?refsite=www.n1ads.com&ref=alexa-traffic-rank User-agent: Yandex Allow: / Host: www.myhost.ru Host: www.myhost-.ru Host: www.-myhost.ru Host: www.myhost.ru:100000 Host: www.my_host.ru Host: .my-host.ru:8000 Host: my-host.ru. Host: my..host.ru Host: www.myhost.ru/ Host: www.myhost.ru:8080/ Host: http://www.myhost.ru Host: 213.180.194.129 Host: www.firsthost.ru,www.secondhost.ru Host: www.firsthost.ru www.secondhost.ru User-agent: Cuil Allow: / User-agent: Slurp Allow: / User-agent: Yahoo Allow: / User-agent: Yahoo! Slurp Allow: / User-agent: ia_archiver-web.archive.org Disallow: / User-agent: aipbot Disallow: / User-agent: BecomeBot Disallow: / User-agent: psbot Disallow: / User-agent: fast Disallow: / User-agent: GigaBot Disallow: / User-agent: Voyager Disallow: / User-agent: BaiDuSpider Disallow: / User-agent: BackRub/*.* Disallow: / User-agent: Grub.org Disallow: / User-agent: BotRightHere Disallow: / User-agent: larbin Disallow: / User-agent: psbot Disallow: / User-agent: Walhello appie Disallow: / User-agent: Python-urllib Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / Sitemap: http://www.siteadresi.com/sitemap.xml
Ben telimde faceye giremiyorum robots.txt li bisiler yazio.ve ben bu sayfayi da engellediyse m nasil kaldircami bilmiyorum ..ne yapmam lazim….
@hawa; Merhaba. Sorunu mobil tarayıcı üzerinden yaşıyorsanız tarayıcı uygulamasını kaldırıp tekrar kurun, önbelleği temizleyin veya farklı bir mobil tarayıcı kurup deneyin. Tarayıcınız bozulduğu için siteyi arama motoru botları gibi görüntülüyor olabilir.
Enigma teması ile WordPress 4.4. Arama motorları engellendi. bu hata neden oluyor yardımcı olabilirmisiniz. birde sitemi arama motorlarında ararken .www.örnek.com alan adının alında bu yazıyı görüyorum,, Index of /. Name Last modified Size Description. directory cgi-bin 26-Nov-2015 13:06 -. Proudly Served by LiteSpeed Web Server at
@mehmet; Merhaba. Admin panelden arama motorlarını engellemediyseniz robots.txt dosyası veya .htaccess üzerinden engellenmiş olabilir. Wp admin panelde Ayarlar > Okuma sayfasında Arama motoru görünürlüğü seçeneğinde tik olmaması gerekiyor. Robots dosyasında ise Google vd. botlarda disallow yazmaması gerekiyor.
Arama sonucunda gördüğünüz alt bilgi sitenizi kurmadan önceki boş ftp görünümü oluyor. Site dosyalarını atmadan önce ftp’de cgi-bin klasörü olur, onun son düzenleme tarihi ve sunucuda LiteSpeed kullanıldığını gösteren bilgi.. Arama motoru sitenize tekrar geldiğinde bu kısım değişir, yani bir sorun yok.
siteniz cok faydalı bilgili böyle bir wep kurduğunuz için cok tşkler ederim
Admin selam,
Sitem için verdiğin kodu aynen uyguladım..
2008 yılında yapmış olduğun bu kod çalışması şuan 2018 için hala uygunluğu var mıdır?
Google kendini sürekli olarak yenilediğinden dolayı konunun tekrardan güncellenmesi konusunda yardımın dokunur mu acaba ?
Saygılar.
@Özkan; Merhaba. Robots.txt aslında hep aynıdır büyük değişimler olmaz yüklediğiniz eklentiler haricinde. Yazıma güncel kendi robots.txt içeriğimi de ekledim ama rss’leri kapadığım ve mobil eklenti için eklediğim komutları kaldırdım. İstediğiniz şekilde kendinize göre değiştirip kullanabilirsiniz.
Çok sağol.
Teşekkür ederim…