谷歌近日开源其生产系统所采用的用于解析以及匹配 robot.txt 文件中规则的 C++库。据了解，该库已存在了 20 年，它包含了 90 年代编写的代码片段，谷歌在过去的 20 年中所积累的网站管理员如何编写 robots.txt 文件的经验以及一些必须覆盖的角落案例，并将这些年来该公司学到的知识添加到互联网草案中。除此以外，谷歌还在开源软件包中增添了一个可帮助用户测试一些规则的测试工具。