scrapy框架如何运行python爬虫并下载数据？

上篇我们讲了学习scrapy框架是为了python爬虫做准备的，那么在本篇中就要开始真正的运行python爬虫了。经过了这么久爬虫理论知识的洗礼，想必小伙伴们已经迫不及待想要尝试一下怎么通过scrapy框架运行爬虫了。不着急，我们慢慢往下看。体会获取数据的成就感然后把成果保存下来。

在项目文件夹内打开cmd运行下列命令：

scrapy crawl douban_top250 -o douban.csv

注意此处的douban_movie_top250即为我们刚刚写的爬虫的name, 而-o douban.csv是scrapy提供的将item输出为csv格式的快捷方式，第一次输出后是乱码，这时候我们要在settings.py设置一些编码格式：

FEED_EXPORT_ENCODING = 'GBK'

另外，在python包下面exporters.py里面CsvItemExporter 类中io.TextIOWrapper添加参数newline=''，取消csv的自动换行

再次运行上述命令，我们想要的信息都被下载到douban.scv文件夹里了：

通过上述的工作，我们完成了第一页的页面信息爬取。

看到这种聪明的小伙伴已经猜出我们还有续篇要出现了，毕竟这只是第一页数据的获取~感兴趣的小伙伴跟小编一起看看下一篇吧。更多Python学习推荐:JQ教程网Python大全。

您可能感兴趣的文章：
Python 爬虫学习系列教程
scrapy和python有什么关系
Python2爬虫入门之如何学习爬虫
《Python2爬虫入门教程指南》（系列教程）
Python3爬虫入门：Scrapy 框架
scrapy框架如何运行python爬虫并下载数据？
python中的scrapy框架是什么？为什么要学？
python爬虫一般都爬什么信息
如何使用python多线程有效爬取大量数据？
怎么用python的爬虫框架scrapy的命令行？