Jquery中文网 www.jquerycn.cn
Jquery中文网 >  Python编程  >  Python入门  >  正文 如何用res函数解决python爬虫的中文乱码?

如何用res函数解决python爬虫的中文乱码?

发布时间:2020-12-01   编辑:www.jquerycn.cn
jquery中文网为您提供如何用res函数解决python爬虫的中文乱码?等资源,欢迎您收藏本站,我们将为您提供最新的如何用res函数解决python爬虫的中文乱码?资源

自从接触了编程后,小编发现了很多出错的案例,有的是代码错误,有的是程序操作过程的问题。在报错方面,乱码也不会局限中文报错一种,还有英文报错等其他类型,如何帮助新手小白解决这方面的问题,小编一直很关注。今天小编就带来res函数解决python爬虫的中文乱码办法,大家一起学习一下。


我们知道Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 r.text 之时,Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码,并且能够使用r.encoding 属性来改变它。接下来,我们一起通过resquests的一些用法,来看看Requests 会基于 HTTP 头部对响应的编码方式。

print(res.encoding)  #查看网页返回的字符集类型
print(res.apparent_encoding) #自动判断字符集类型

输出结果为:

可以发现Requests 推测的文本编码(也就是网页返回即爬取下来后的编码转换)与源网页编码不一致,由此可知其正是导致乱码原因。

 

解决方法

根据原因来找解决方法,就非常简单了。

方法一:直接指定res.encoding

import requests
 
url = "http://search.51job.com"
res = requests.get(url)
res.encoding = "gbk"
html = res.text
print(html)


方法二:通过res.apparent_encoding属性指定

import requests
 
url = "http://search.51job.com"
res = requests.get(url)
res.encoding = res.apparent_encoding
html = res.text
print(html)


以上两种res函数的方法都可以解决python爬虫中文乱码的问题,小伙伴们可以逐一尝试,选择合适的方法处理乱码问题。更多Python学习推荐:JQ教程网Python大全


您可能感兴趣的文章:
如何用res函数解决python爬虫的中文乱码?
《Python2爬虫入门教程指南》(系列教程)
Python 爬虫学习系列教程
python爬虫一般都爬什么信息
python写爬虫出现乱码怎么回事
PHP能写爬虫吗?(PHP实现爬虫技术示例)
python百度反收集如何使用
python和爬虫有什么关系
Python2爬虫入门之如何学习爬虫
Python3爬虫入门:Robots协议

[关闭]