dudo博客

前面我曾经有两篇文章专门来谈Wordpress中robots.txt对于网站优化也就是SEO的作用,其中一篇是SiteLink、Robots.txt、SiteMap几个问题,另一篇是用好robots.txt来优化WordPress,这两篇文章基本上概括了robots.txt对于网站SEO的各方面内容。但是随着时间的发展,特别是移动端访问量逐步上升并占居更大比重的今天,robots.txt也要特出相应的跟进,同时,搜索引擎技术也在不断的发展,其对访问的内容和规则也有变化,需要我们做出相应的对策。这里就上面的两篇文章再补充几点:

Wordpress中的robots.txt对SEO有个重要影响

1、确保所有的CSS和JS可被搜索引擎读取

这在以前是可以不用考虑的,但是在移动设备普及的今天,我们要做出相应的调整。主要原因是搜索引擎(无论是Google还是百度)会通过加载CSS和JS来判断你的网站是否适配移动终端访问。对于自响应的设计,CSS起着决定性的作用,而大部分的WordPress的样式表CSS文件都是在存在/wp-content/themes/下的,如果按照以前的方法使用 Disallow:wp-* 的方式禁止一切访问,将会被搜索引擎判定为移动终端不适配,这影响移动搜索结果。

同样还需要放开对/wp-content/plugins/的访问限制,特别是使用插件来实现移动适配的站点,或者插件中有CSS或JS要加载的。

2、避免内容重复提交搜索引擎

当然,这是一个原则,在这个原则下我们来定制robots.txt。在Wordpress中,一般情况下,核心的内容是你发布的博客文章、增加的博客页面两类,按照这个原则其它的常用,也是搜索引擎喜欢收录的内容屏蔽掉,比如/tag/、/category/标签等,因为实际上这个些页面并不存在,他们也没有实际内容,只是把文章按照不同的方式重新组织了一下而已,属于重复的内容。

以上是我博客的robots.txt,仅供参考:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-*
Disallow: /attachments/
Allow: /wp-content/uploads/
Allow: /wp-content/plugins/
Allow: /wp-content/themes/
Disallow: /feed/
Disallow: /comments/*
Disallow: /trackback/
Disallow:/article
Disallow: /archives/category/*
Disallow:/archives/tag/*
Sitemap: http://dudo.org/sitemap.xml


共有(7)条评论

顾亚恒博客 发表于 2016-12-19 at 15:51 #1楼

恩,看你网站很简陋啊,但是却有谷歌广告,可以的

[回复]

QQ技术博客 回复:

@顾亚恒博客, 呵呵

[回复]


春熙路 发表于 2016-12-19 at 18:22 #2楼

进来看看

[回复]


靠谱学生兼职网 发表于 2016-12-19 at 20:41 #3楼

这个写好确实重要的。

[回复]


猫客工作室 发表于 2016-12-19 at 23:56 #4楼

文章很有价值,受益匪浅,欢迎回访。

[回复]


节约钱优惠券分享平台 发表于 2016-12-23 at 17:42 #5楼

确实,要用心去发现才能把网站推广出去,以后如再用WP建站,一定要好好来此学习

[回复]


QQ技术博客 发表于 2016-12-24 at 10:58 #6楼

文章很有价值,受益匪浅

[回复]


随便说两句
名字:
Email:
网站:
内容:

无觅相关文章插件,快速提升流量