运行环境:
python 3.6
scrapy 1.5.1
pymysql 0.9.2
IDE:pycharm
*****
**一、新建项目**
命令行运行:
`scrapy startproject douban`
如下图所示:
![](https://box.kancloud.cn/800c99df572d418d70f37440478cb28a_677x442.jpg)
产生的目录和文件如下图所示
![](https://box.kancloud.cn/dfc30dcbd77d071247fdd00869e07f57_286x588.jpg)
*****
**二.明确目标**
进到项目目录下,运行:scrapy genspider bouban_spider movie.douban.com
*****
**三.制作爬虫**
scrapy crawl douban_spider
*****
**四.存储内容**
存储为json
scrapy crawl douban_spider -o douban.json
存储为csv
scrapy crawl douban_spider -o douban.csv
存储到mysql