彻底解决Python3写爬虫或网站时的乱码问题
发布于2019-08-08 09:41 阅读(764) 评论(0) 点赞(1) 收藏(2)
第一次写贴子，试试水
很多玩Python3的都会遇到编码问题，如果直接去处理未知编码的网页，不是Python内部编码格式utf8会出现乱码，下面介绍一种将未知编码的字串转换为utf8来避免乱码的方法，
在很多Python编码转换的场景中都可以使用，
这段是自己写的爬虫中的一段代码，代码比较简短，聪明的你一定能抓住其中的重点
#请求网页并转网页编码 def getHtmlAndDealCode(url): #html=requests.get(url,verify=False) html = s.get(url,headers=header) code=html.encoding html=html.text html=html.encode(code) html=html.decode('utf-8') parser = 'html.parser' soup = BeautifulSoup(html ,parser) return soup
所属网站分类: 技术文章 > 博客
作者：erer34
链接：https://www.pythonheidong.com/blog/article/12749/efe1449171f354280994/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力