关于这点倒是能够让我理解。因为我的博客添加了robots.txt把搜索引擎蜘蛛阻挡在外面进不来,所以快照无法更新,但是为何在我添加了robots.txt 5天左右的时间被K的排名回来了?既然robots.txt把引蜘蛛挡在外面了?它又如何判定博客排名、权重的?难道是给博客添加robots.txt之后,以前的被K记录也挡在了外面,识别不了了?
博客添加robots.txt之后谷歌的情况:
googleqingkuang
在我眼中谷歌是比较准确的,果不其然,经过这次对博客robots.txt的添加,在谷歌显示的只是网址,排名也没有了,而以往收录的标题都变成以网址的形式展现了,排名没有了,以前单靠谷歌每天给我的IP也有上百,对此我还是觉得蛮可惜的。
博客添加robots.txt之后360的情况:
360qingkuang
对于博客添加了robots.txt之后,360倒是照样定时抓取我的博客,继续收录我博客新的东西,它似乎毫不在乎别人网站的robots.txt?
博客添加robots.txt之后搜狗的情况:
sogouqingkuang
搜狗也是一样,在搜狗搜索出来的淘金客竟然是这么好看,并没有因为博客添加了robots.txt文件而改变了什么。