粒度的控制使发布商有权决定他们希

fatehaayat2312

早在 1996 年，它就被视为“正在进行的工作”，我认为现在仍然如此，因为有些网站管理员对该过程的真正运作方式感到困惑。从模棱两可的事实标准过渡意味着开放式解释将结束。谷歌表示，尽管新提案不会改变自 1994 年以来创建的任何规则，但它将澄清“robots.txt 解析和匹配的未定义场景”。 机器人的清晰实施 “拟议的 REP 草案反映了 Googlebot 和其他主要爬虫以及大约 5 亿个依赖 REP 的网站所使用的 robots.txt 规则 20 多年的实际经验。这些细望在其网站上抓取哪些内容并可能向感兴趣的用户展示哪些内容。” 搜索引擎已经充分利用了 REP，但仍有一些领域尚未涵盖，这就是为什么拟议的标准化草案有望对 Robots.txt 的工作方式带来更清晰的解释。

Google 与网站管理员、其他搜索引擎和 REP 规范的支持者一起向互联网工程任务组 (IETF)提交提案，这意味着这是扩展机器人排除机制的重大努力，因为它现在可以由技术规范来管理标准体。 网站管理员的进一步创新 在宣布使 REP 成为互联网标准的同时，Google 还考 丹麦电话号码数据 虑了开发人员解析 robots.txt 文件的工作。Google 的 robots.txt 解析器现已通过其 C++ 库开源。您可以在Github中找到 robots.txt 解析器，并且他们还包含一个测试工具作为开源包的一部分。 谷歌 C++ 库 经过 20 多年的监督，网站管理员如何创建 robots.txt 文件，这补充了传递给 IETF 的互联网草案。这意味着搜索引擎可以随时帮助网络创建者在网络上进行实验和创新；



一切都是为了创建独特且引人入胜的内容，以获得更好的用户体验。 该协议的积极开发仅仅意味着现代网络将会有进一步的更新。同样，他们不会更改 robots.txt 的既定规则。更新后的规则如下： 任何基于 URI 的传输协议都可以使用 robots.txt。它将不再局限于 HTTP。此外，它还可以用于 FTP 或 CoAP。 开发人员必须解析 robots.txt 的至少前 500 KB。定义最大文件大小的行为强调了连接不会打开太长时间，从而减轻服务器上不必要的压力。 新的最大缓存时间为 24 小时或缓存指令值（如果可用），这将使网站所有者能够灵活地随时更新其 robots.txt，因为爬虫程序不会同时通过 robots.txt 请求使网站超载。