``` 什么是Robots协议: Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是一个道德层面的约定，爬虫作者遵不遵守完全看自己意愿。 存在位置: robots.txt文件应该放置在网站根目录下 ```