1. 首页
  2. 谷歌SEO

谷歌发布草案以正式化机器人排除协议规范

谷歌公开发布其robots.txt解析器作为本公告的一部分。

  谷歌今天上午宣布,它已经向互联网工程任务组发布了一份评论请求,要求将机器人排除协议规范正式化为互联网25年之久的非正式标准。

  这个通告。谷歌在其博客上写道:“我们与协议的原作者,网站管理员和其他搜索引擎一起,记录了如何在现代网络上使用REP,并将其提交给IETF。提议的REP草案反映了20多年来依赖于robots.txt规则的实际经验,这些规则由Googlebot和其他主要爬虫以及大约5亿依赖REP的网站使用。

谷歌robots协议

  什么都没有改变。我问谷歌的GaryIllyes,他是本公告的一部分,如果发生任何变化,他说:“不,什么都没有。”

  那么为什么呢?由于机器人排除协议从未成为正式标准,因此没有官方或权威指南来保持其最新或确保必须遵循特定语法。每个主要的搜索引擎都采用robots.txt作为爬行指令,但它甚至不是官方标准。那将会发生变化。

  谷歌公开其robots.txt解析器。有了这个,谷歌宣布他们开放源自robots.txt的部分解析robots.txt文件。“我们开源了C++库,我们的生产系统用它来解析和匹配robots.txt文件中的规则,”谷歌说。如果你愿意,今天你可以在Github上看到这个库。

  我们为何关心。今天没有任何具体改变,但通过这种改变使其成为正式标准,它确实为改变事物提供了机会。请记住,互联网已经将其作为25年的标准使用,而这并不是官方标准。所以目前尚不清楚将来会发生什么变化或者可能会发生什么变化但就目前而言,如果您要构建自己的抓取工具,可以使用Google的robots.txt解析器来帮助您。

原创文章,作者:David,如若转载,请注明出处:http://www.seoshisha.com/google/robot.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

15317703291

在线咨询:点击这里给我发消息

邮件:2692003558@qq.com

 

QR code