再谈WordPress的robots.txt对SEO的优化

前面我曾经有两篇文章专门来谈Wordpress中robots.txt对于网站优化也就是SEO的作用,其中一篇是SiteLink、Robots.txt、SiteMap几个问题,另一篇是用好robots.txt来优化WordPress,这两篇文章基本上概括了robots.txt对于网站SEO的各方面内容。但是随着时间的发展,特别是移动端访问量逐步上升并占居更大比重的今天,robots.txt也要特出相应的跟进,同时,搜索引擎技术也在不断的发展,其对访问的内容和规则也有变化,需要我们做出相应的对策。这里就上面的两篇文章再补充几点:

Wordpress中的robots.txt对SEO有个重要影响

1、确保所有的CSS和JS可被搜索引擎读取

这在以前是可以不用考虑的,但是在移动设备普及的今天,我们要做出相应的调整。主要原因是搜索引擎(无论是Google还是百度)会通过加载CSS和JS来判断你的网站是否适配移动终端访问。对于自响应的设计,CSS起着决定性的作用,而大部分的WordPress的样式表CSS文件都是在存在/wp-content/themes/下的,如果按照以前的方法使用 Disallow:wp-* 的方式禁止一切访问,将会被搜索引擎判定为移动终端不适配,这影响移动搜索结果。

同样还需要放开对/wp-content/plugins/的访问限制,特别是使用插件来实现移动适配的站点,或者插件中有CSS或JS要加载的。

2、避免内容重复提交搜索引擎

当然,这是一个原则,在这个原则下我们来定制robots.txt。在Wordpress中,一般情况下,核心的内容是你发布的博客文章、增加的博客页面两类,按照这个原则其它的常用,也是搜索引擎喜欢收录的内容屏蔽掉,比如/tag/、/category/标签等,因为实际上这个些页面并不存在,他们也没有实际内容,只是把文章按照不同的方式重新组织了一下而已,属于重复的内容。

以上是我博客的robots.txt,仅供参考:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-*
Disallow: /attachments/
Allow: /wp-content/uploads/
Allow: /wp-content/plugins/
Allow: /wp-content/themes/
Disallow: /feed/
Disallow: /comments/*
Disallow: /trackback/
Disallow:/article
Disallow: /archives/category/*
Disallow:/archives/tag/*
Sitemap: http://dudo.org/sitemap.xml