码迷,mamicode.com
首页 > 编程语言 > 详细

Python beautifulsoup 中文乱码

时间:2017-04-25 00:42:09      阅读:238      评论:0      收藏:0      [点我收藏+]

标签:输出   导致   热点   meta   http   read   com   文章   执行   

在爬百度"今日热点事件排行榜"的时候发现打印在控制台的中文全部显示乱码,开始怀疑控制台的原因导致了乱码,后来输出一个中文,发现显示正常。

#-*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
res = requests.get("http://top.baidu.com/buzz?b=341&fr=topbuzz_b1&qq-pf-to=pcqq.discussion")
soup = BeautifulSoup(res.text,lxml)
print(soup.head.title.text)

执行代码控制台返回一串乱码

技术分享

查看网页的源码发现网页的编码方式gbk,BeautifulSoup解析后得到的soup,打印出来是乱码,实际上其本身已经是正确的(从原始的GB2312编码)解析(为Unicode)后的了。之所以乱码,那是因为,打印soup时,调用的是__str__,其默认是UTF-8,所以输出到GBK的cmd中,才显示是乱码(参考一些文章

<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
#-*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
res = requests.get("http://top.baidu.com/buzz?b=341&fr=topbuzz_b1&qq-pf-to=pcqq.discussion")
res.encoding = gb18030 
soup = BeautifulSoup(res.text,lxml)
print(soup.head.title.text)

 

  

 

Python beautifulsoup 中文乱码

标签:输出   导致   热点   meta   http   read   com   文章   执行   

原文地址:http://www.cnblogs.com/mengyu/p/6759671.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!