导读 您好,今天小编胡舒来为大家解答以上的问题。robots协议又称什么，robots协议相信很多小伙伴还不知道,现在让我们一起来看看吧！1、你好，Rob...

您好,今天小编胡舒来为大家解答以上的问题。robots协议又称什么，robots协议相信很多小伙伴还不知道,现在让我们一起来看看吧！

1、你好，Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。

2、方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。

本文就为大家分享到这里，希望小伙伴们会喜欢。