谷歌做了些什么?
Google在抓取网页和获得搜索结果时,总是力图索引并显示内容不同的页面。这种过滤意味着,譬如说,如果你的网站有文章的正常版和打印版,并且你没有在robots.txt里设定noindex标记,谷歌就只会选择一个版本显示给谷歌用户。对于企图利用复制内容来操控排名,欺骗谷歌用户的少数情况,我们会在对相关页面的索引和排名作出适当调整。当然,我们更愿意把重点放在过滤而不是排名调整上… 因此,在绝大多数情况下,最坏的结果就是原创者看到了不愿看到的版本出现在我们的索引里。(重点放在过滤而不是排名调整上)
网站管理员如何主动处理内容复制问题?
1、适当阻止搜索引擎访问:与其让我们的算法来确定一个文件的”最佳”版本,你也许希望指引谷歌选取你的首选版本。譬如说,如果你不想我们索引你网站文章的打印版,你可以在你的robots.txt文件中写上目录名或正则表达式来禁止谷歌对那些打印版的抓取。
2、使用301重定向:如果你已经重构你的网站,请在你的原网站的.htaccess中使用301重定向(永久性重定向)来重定向你的用户、Google爬虫、以及其他搜索引擎蜘蛛等。
3、链接要一致:努力使你的内部链接保持一致; 千万不要既有/page/,又有/page和/page/index.htm 的内部链接.。(Chris.DL:可以将/page/index.htm用301重定向到/page/)