scrapy框架如何python爬虫中找寻下一页？

我们在上篇讲到在获取数据的时候，只收集了第一页就结束了。电脑需要某种指令让它像人一样的灵活，找到一个跳转页面的方法。那么，我们该怎么给电脑下这个指令呢？小编经过翻阅找到了两种方法，这里先不揭晓，想要知道答案的小伙伴，我们一起往下进行学习文章吧。

实现自动翻页一般有两种方法：

在当前页面中找到下一页的地址；

自己根据URL的变化规律构造所有页面地址。

一般情况下我们使用第一种方法，第二种方法适用于页面的下一页地址为JS加载的情况。

观察页面的网页源码后可以得到，直接拼接URL即可得到下一页的链接。

再次运行结果，打开douban.csv。是不是发现所有的影片信息都获取到了，250个一个不多一个不少

最后，利用Excel的筛选功能你可以筛选任意符合你要求的影片。（PS：Excel可以直接打开csv进行操作）

到这里，用scrapy框架运行python爬虫获取数据才算讲完，虽然只有短短的三篇文章。以后有更多的系列文章内容，小编也会持续为大家更新。更多Python学习推荐:JQ教程网Python大全。

您可能感兴趣的文章：
Python 爬虫学习系列教程
《Python2爬虫入门教程指南》（系列教程）
Python2爬虫入门之如何学习爬虫
Python3爬虫入门：Scrapy 框架
scrapy和python有什么关系
python爬虫一般都爬什么信息
python中的scrapy框架是什么？为什么要学？
scrapy适合处理python爬虫调度吗？
python爬虫中选scrapy框架的优势有哪些？
如何使用python多线程有效爬取大量数据？