**分布式爬取的优点：** 当网站的数据非常庞大时，我们就需要分布式来更<mark>快</mark>的爬取数据。 <br/> **分布式：** 简单的说，就是使用不同的服务器完成同一个任务。 <br/> **分布式爬虫应用场景：** 1. 数据量大 2. 数据要求时间紧张 <br/> **分布式爬虫部署环境：** 1. 没有钱：若干台普通的笔记本电脑 2. 有点钱：一台服务器搭建若干台电脑 3. 非常有钱：若干台服务器，如果数据采集15台，管理3-4台，存储10台