dudo博客

在前面的几篇博客中,我陆续提到了Robots.txtSiteLink的问题,也有朋友问到了SiteMap的问题。包括了使用robots.txt来优化WordPress网站产生SiteLink(站内链接)的几个可能有用的技巧。然而最近我发现了一个很奇怪的问题:原来已经存在的SiteLink突然消失了,无论是通过Google直接搜索还是通过Google网站管理人员工具都已经发现没有了Sitelink。

1、SiteLink消失了

自从前面那篇 dudo.org也终于有了SiteLink(站内链接)了之后没有几天,SiteLink就消失了,sitelink_in_google_webmaster_tool

 

这个问题有些怪异,一般来说网站没有发生大的变动已经生成的SiteLink不会丢失。

2、上次的Robots.txt存在问题

我仔细检查了一下可能出现问题的每一个角落,我发现当我使用site:dudo.org进行查看收录状况的时候,发现最近一个礼拜的更新都没有被收录,这很有可能是网站被降权或者设置有问题。经过研究我发现上次在Robots.txt里的一条规则Disallow: /*.php$,存在问题,它虽然屏蔽了php文件收录,但是同样也屏蔽掉了index.php的收录,这是绝对不可以的。因为你最新的文章是通过index.php引导蜘蛛进入的,如果这个页面被拒绝访问那么就很难发现和收录你的新文章。所以你要添加一个新规则:Allow:/index.php

8月1日更新

但有一个问题是:我在Robots.txt中已经指明了SiteMap,最新的文章会出现在里面,应该不会错过被收录,所以这个问题很另人纠结。不过,允许收录index.php是对的。

3、SiteLink和SiteMap的区别

这是几个朋友问到的问题。其实差别很容易记住,SiteLink是google自动生成的,他出现在Google的搜索结果中,不需要你提交。这些链接是访问你网站中Google认为比较重要页面的快捷方式。

SiteMap则是你的网站自己生成的,用来引导Google等搜索引擎如何访问你页面的。它需要你自己提交给Google,至于采不采用则由Google来决定。当然对面网站不太复杂的来说,不使用SiteMap也没什么影响。

SiteLink和SiteMap之间没有必然的联系。

4、谨慎使用Robots.txt

由此看来,Robots.txt对网站的收录情况起着举足轻重的作用,所以一定要谨慎使用。对于规则一定要使用相关工具验证,而且使用之后要注意前后的变化。对于异常变动应该尽快处理。对于使用了前面我的robots.txt规则的同学要赶紧检查一下了。



共有(34)条评论

流年 发表于 2010-7-31 at 23:43 #1楼

怎会不小心禁掉了php文件的呢

[回复]


dudo 发表于 2010-8-01 at 00:15 #2楼

因为基本上php文件都不需要被收录,除了index.php 现在只允许访问index.php  其它的还是禁止  不知道有没有问题这样

[回复]

Mucid 回复:

@dudo, 有伪静态的话,index.php也可以禁用吧。。

[回复]

dudo 回复:

@Mucid, 还有一个奇怪的问题,比如我昨天写好的文章,使用Google搜索一天之内收录的文章,没有任何结果,但是如果把时间范围改在一个星期之内,就有结果,这说明已经收录了。很奇怪

[回复]


杜小白 发表于 2010-8-01 at 00:43 #3楼

我好像极少查看我网站的收录情况,而我的ROBOTS貌似还DISALLOW了很多东西的··要去检查了·

[回复]

dudo 回复:

@杜小白, 这个往往几天后才能看出效果……引导页面要正确

[回复]


猫食 发表于 2010-8-01 at 00:56 #4楼

从未有过sitelink的人掩面奔过~

[回复]

dudo 回复:

@猫食, 有过又没了的,更加难过

[回复]


操蛋日报 发表于 2010-8-01 at 01:37 #5楼

发现猫食又换头像了。。。

robox我还需要学习一下。

[回复]

dudo 回复:

@操蛋日报, 多了个月亮,学人家丛林儿郎

[回复]


Mucid 发表于 2010-8-01 at 06:37 #6楼

Google在改革他的神奇算法,前天把我只收录了300昨天又把我收入了600,看来得参照大哥的robots把tag屏蔽掉。。

[回复]

dudo 回复:

@Mucid, tag应该屏蔽掉,这些链接没有用

[回复]


sky 发表于 2010-8-01 at 08:07 #7楼

呵呵,这方面只是见过,但是没敢也没有精力弄的呢

[回复]

dudo 回复:

@sky, 可以稍微关注一下,还是有用的

[回复]


婉秋 发表于 2010-8-01 at 09:08 #8楼

今天才明白SiteLink和SiteMap的区别~~~
呵呵,虽然不很懂,但还是有了收获~

[回复]

dudo 回复:

@婉秋, :) 我可以多和你探讨探讨 嘿嘿

[回复]


haozi 发表于 2010-8-01 at 11:04 #9楼

sitemap的确重要,不过比较纠结的一点也是他会暴露我的一些不想让别人看到的目录,到底是加进去呢,还是不加进去呢

[回复]


huangjun 发表于 2010-8-01 at 11:11 #10楼

我的那些都没动过,但收录莫名的少了很多。

[回复]


小邪 发表于 2010-8-01 at 14:22 #11楼

我的收录一直很平稳,春哥保佑我 ╮( ̄▽ ̄”)╭

[回复]


集趣 发表于 2010-8-01 at 16:32 #12楼

sitelink出现了,然后消失,过一段时间就恢复了哦

[回复]


龙崽 发表于 2010-8-01 at 17:59 #13楼

从未有过sitelink的人掩面跑来。。。

[回复]

haozi 回复:

@龙崽, 呵呵,你没听过,但相信肯定见过,只是不知道名字吧

[回复]


昵称 发表于 2010-8-01 at 22:44 #14楼

学习了,好好看看

[回复]


签名 发表于 2010-8-02 at 03:02 #15楼

恩 说的挺好的 是应该学习一下

[回复]


中南分校自考 发表于 2010-8-02 at 08:47 #16楼

SiteLink 这个东西以前还真没注意过
回去研究一下

[回复]


哎呦呦 发表于 2010-8-02 at 09:51 #17楼

有点意思,好好学习了。

[回复]


中国包装网 发表于 2010-8-02 at 14:15 #18楼

博主说的很详细,学习了!

[回复]


Firm 发表于 2010-8-02 at 15:48 #19楼

俺好像也有,一直没去关注它

[回复]

dudo 回复:

你的还不少呢,网站不错,加油

[回复]


zzzhu 发表于 2010-8-02 at 21:45 #20楼

我是一直都没用 万一出个问题就完了

[回复]

dudo 回复:

这东西就应该不断去尝试,不行最多就改回来,要不永远也不知道他有没有用啊

[回复]


灰太狼 发表于 2010-8-02 at 23:08 #21楼

这东西就应该不断去尝试,不行最多就改回来,要不永远也不知道他有没有用啊

[回复]


苏茗薇 发表于 2010-8-03 at 22:34 #22楼

很有见地,有点看不懂,能说明白点吗

[回复]


午夜客 发表于 2011-4-08 at 21:36 #23楼

google的站内链接对网站要求狠高1

[回复]


随便说两句
名字:
Email:
网站:
内容:

无觅相关文章插件,快速提升流量