什么是Robots协议？
订阅
Robots协议也称为爬虫协议、爬虫规则、机器人协议，是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。规则中将搜索引擎抓取网站内容的范围做了约定，包括
Robots协议也称为爬虫协议、爬虫规则、机器人协议，是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。规则中将搜索引擎抓取网站内容的范围做了约定，包括网站是否希望被搜索引擎抓取，哪些内容不允许被抓取，而网络爬虫可以据此自动抓取或者不抓取该网页内容。如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些不对搜索引擎开放。
免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请您通过400-62-96871或关注我们的公众号与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！
阅读全文
请先 登录后发表评论 ~