Jquery中文网 www.jquerycn.cn
Jquery中文网 >  脚本编程  >  php  >  正文 python爬虫需要安装什么

python爬虫需要安装什么

发布时间:2020-10-17   编辑:www.jquerycn.cn
jquery中文网为您提供python爬虫需要安装什么等资源,欢迎您收藏本站,我们将为您提供最新的python爬虫需要安装什么资源

世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

python爬虫需要安装相关库:

python爬虫涉及的库:

请求库,解析库,存储库,工具库

1. 请求库:urllib/re/requests

(1) urllib/re是python默认自带的库,可以通过以下命令进行验证:

没有报错信息输出,说明环境正常

(2) requests安装

2.1 打开CMD,输入

pip3 install requests

2.2 等待安装后,验证

(3) selenium安装(驱动浏览器进行网站访问行为)

3.1 打开CMD,输入

pip3 install selenium

3.2 安装chromedriver

网址:https://npm.taobao.org/

把下载完成后的压缩包解压,把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后,验证

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址:http://phantomjs.org/

下载完成后解压,把整个目录放到D:\Python3.6.0\Scripts\,把bin目录的路径添加到PATH变量

验证:

打开CMD

phantomjs
console.log('phantomjs')

CTRL C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get('http://www.baidu.com')
driver.page_source

2. 解析库:

2.1 lxml (XPATH)

打开CMD

pip3 install lxml

或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

打开CMD,需要先安装好lxml

pip3 install beautifulsoup4

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')

2.3 pyquery(类似jquery语法)

打开CMD

pip3 install pyquery

验证安装结果

python
from pyquery import PyQuery as pq
doc = pq('<html>hi</html>')
result = doc('html').text()
result

3. 存储库

3.1 pymysql(操作MySQL,关系型数据库)

安装:

pip3 install pymysql

安装后测试:

3.2 pymongo(操作MongoDB,key-value)

安装

pip3 install pymongo

验证

python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['testdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'})

3.3 redis(分布式爬虫,维护爬取队列)

安装:

pip3 install redis

验证:

4.工具库

4.1 flask(WEB库)

pip3 install flask

4.2 Django(分布式爬虫维护系统)

pip3 install django

4.3 jupyter(运行在网页端的记事本,支持markdown,可以在网页上运行代码)

pip3 install jupyter

验证:

打开CMD

jupyter notebook

之后就可以在网页直接创建记事本,代码块和Markdown块,支持打印

【相关推荐】

1. python爬虫库以及相关利器

2. python爬虫入门教程

以上就是python爬虫需要安装什么的详细内容,更多请关注jQuery中文网其它相关文章!

  • 本文原创发布jQuery中文网,转载请注明出处,感谢您的尊重!
  • 您可能感兴趣的文章:
    Python 环境搭建
    jQuery动画效果animate和scrollTop结合使用实例
    Linux下如何编译安装源码包软件
    看懂IIS日志
    freebsd下安装ports的方法
    Django 安装
    ubuntu下安装pear包(lynx和php-cli安装)
    python 操作MySQL数据库
    Django Nginx+uwsgi 安装配置
    搜索引擎robots.txt基础写法

    [关闭]