UnicodeDammit 是BS内置库, 主要用来猜测文档编码. 编码自动检测 功能可以在Beautiful Soup以外使用,检测某段未知编码时,可以使用这个方法: from bs4 import UnicodeDammit dammit = UnicodeDammit("Sacr\xc3\xa ...
分类：
其他好文 时间：
2017-10-10 13:21:14
阅读次数：
648
from bs4 import BeautifulSoup import requests import re #请求博客园首页 r=requests.get('http://www.cnblogs.com/tangqiu/') #使用html.parser解析html soup=Beautiful... ...
分类：
编程语言 时间：
2017-10-09 15:57:18
阅读次数：
344
1 # -*- coding:utf-8 -*- 2 import urlparse 3 import urllib2 4 from bs4 import BeautifulSoup 5 6 url = "http://www.baidu.com" 7 8 urls = [url] # stack ... ...
分类：
Web程序 时间：
2017-10-08 16:15:13
阅读次数：
245
import requestsfrom bs4 import BeautifulSoupres = requests.get('http://news.sina.com.cn/china')res.encoding = 'utf-8'soup = BeautifulSoup(res.text, 'h ...
分类：
其他好文 时间：
2017-10-05 14:37:25
阅读次数：
171
1 # _*_ coding:utf-8 _*_ 2 import urllib2 3 from bs4 import BeautifulSoup 4 5 user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KH... ...
分类：
其他好文 时间：
2017-10-03 23:31:24
阅读次数：
274
用requests库和BeautifulSoup4库，爬取校园新闻列表的时间、标题、链接、来源、详细内容。 将其中的时间str转换成datetime类型。 将取得详细内容的代码包装成函数。 from datetime import datetime import requests from bs4 ...
分类：
其他好文 时间：
2017-09-29 01:37:45
阅读次数：
296
2.选一个自己感兴趣的主题，做类似的操作，为“爬取网络数据并进行文本分析”做准备。 ...
分类：
其他好文 时间：
2017-09-28 22:21:08
阅读次数：
233
get方式得到网页的信息 1.错误代码 2.编码格式不对 3.全部改为utf-8 4.执行成功 ...
分类：
Web程序 时间：
2017-09-28 20:49:23
阅读次数：
344
用requests库和BeautifulSoup4库，爬取校园新闻列表的时间、标题、链接、来源、详细内容。 将其中的时间str转换成datetime类型。 将取得详细内容的代码包装成函数。 import requests from bs4 import BeautifulSoup from date ...
分类：
其他好文 时间：
2017-09-28 20:02:15
阅读次数：
187
import requests from bs4 import BeautifulSoup gzccurl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(gzccurl) res.encoding='utf-8' so... ...
分类：
其他好文 时间：
2017-09-28 16:53:43
阅读次数：
190
