Jquery中文网 www.jquerycn.cn
Jquery中文网 >  Python编程  >  Python入门  >  正文 python3爬虫中如何引用Queue案例

python3爬虫中如何引用Queue案例

发布时间:2020-11-26   编辑:www.jquerycn.cn
jquery中文网为您提供python3爬虫中如何引用Queue案例等资源,欢迎您收藏本站,我们将为您提供最新的python3爬虫中如何引用Queue案例资源

我们去一个受欢迎的地方买东西,难免会需要排队等待。如果有多个窗口的话,就会有不同队列的产生,当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的Queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识,应该怎么在Queue中应用呢?接下来就开始今天的内容学习:


队列这种东西大家应该都知道,就是一个先进先出的数据结构,而Python的标准库中提供了一个线程安全的队列,也就是说该模块是适用于多线程编程的先进先出(first-in,first-out,FIFO)数据结构,可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定,使用多个线程可以安全地处理同一个 Queue 实例。Queue 的大小(其中包含的元素个数)可能要受限,以限制内存使用或处理。

 

Python 3中要引入Queue和Python 2中引入Queue是不同,引入方式如下:

#python 2
import Queue
# python 3
from queue import Queue

因为是线程安全的,很自然就可以利用Queue来实现一个多线程爬虫咯,而Queue的一些常见操作如下:

# 实例化一个队列,可以在指定队列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空,是否满
if q.empty():
    print('队列为空')
if q.full():
print('队列满')

另外,除了普通队列,标准库中还有优先队列和后进先出队列这两个队列,分别为LifoQueue和PriorityQueue,其引用方式与Queue类似。

没想到我们平时理解的普通排队现象,在python爬虫中也能产生这么大的作用。当然有兴趣的小伙伴可以课外去了解一些其他队列~更多Python学习指路:JQ教程网Python大全

您可能感兴趣的文章:
python爬虫一般都爬什么信息
python3爬虫中如何引用Queue案例
《Python2爬虫入门教程指南》(系列教程)
Python3爬虫入门:Robots协议
爬虫工程师与django工程师有区别吗
Python爬虫进阶之Robots协议
Python 爬虫学习系列教程
python爬虫有哪些书
python爬虫能干什么
python百度反收集如何使用

[关闭]