利用python对豆瓣电影评价的爬取，并生成词云 一、抓取网页数据 第一步要对网页进行访问，python中使用的是urllib库。代码如下： 第二步，需要对得到的html代码进行解析，得到里面提取我们需要的数据。 在python中使用BeautifulSoup库进行html代码的解析。 Beauti ...
分类：
编程语言 时间：
2018-04-22 12:50:53
阅读次数：
511
运用的知识：http，fs，get，post 接口定义：/user?act=reg$user=aaa&pass=bbb后台返回格式：{"ok":false,"msg":"原因"}/user?act=login$user=aaa&pass=bbb后台返回格式：{"ok":true,"msg":"原因" ...
分类：
其他好文 时间：
2018-04-21 13:32:02
阅读次数：
182
相信很多人都有书荒的时候，想要找到一本合适的书籍确实不容易，所以这次利用刚学习到的知识爬取豆瓣网的各类书籍，传送门https://book.douban.com/tag/?view=cloud。 首先是这个程序的结构，html_downloader是html下载器，html_outputer是导出到 ...
分类：
其他好文 时间：
2018-04-19 21:58:04
阅读次数：
653
实验对象：麦子学院 一、网站分析： 1、大部分视频信息都存在http://www.maiziedu.com/course/all/中，所有的视频信息都有自己的ID，第一次查询地址应该是在：‘http://www.maiziedu.com/course/‘ + id中， ? 分析页面获取title ，为创建文件夹获取目录 url_dict1 = {}
url = ‘http://
分类：
Web程序 时间：
2018-04-19 15:07:24
阅读次数：
224
#!/usr/bin/python
#coding:utf-8
import urllib
import re
import sys
def ISIP(s):
return len([i for i in s.split('.')
分类：
编程语言 时间：
2018-04-18 22:28:46
阅读次数：
318
问题一： python 3.x 以上版本揽括了 urllib2，把urllib2 和 urllib 整合到一起。 并且引入模块变成一个，只有 import urllib 所以不能使用 urllib2.urlopen()方法，否则会报错无此模块。 3.x以上版本 # urllib2.open 不能使用 ...
分类：
编程语言 时间：
2018-04-17 17:01:53
阅读次数：
280
image:图片链接 d:\\pic\%s.jpg:保存到本地的图片路径 title：自己定义的一个图片名称 python3用的是urllib.request.urlretrieve python2用的是urllib.urlretrieve ...
分类：
编程语言 时间：
2018-04-17 15:09:47
阅读次数：
171
#导入urllib库 import urllib.request #打开网址 file=urllib.request.urlopen("http://www.sohu.com/",timeout=5) #读取网页源码 file.read().decode("utf-8","ignor") #返回爬取... ...
分类：
Web程序 时间：
2018-04-14 18:06:10
阅读次数：
267
#-*-coding:utf-8-*- import urllib import urllib2 import re def get_duanzi(url): store=[] user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64)' headers={'U... ...
分类：
编程语言 时间：
2018-04-14 12:33:11
阅读次数：
218
2281 2281 python中字符串的最后一个字符是斜杠会导致出错：SyntaxError: EOL while scanning string literal 【背景】 Python 2.7.2 中想要通过urllib下载百度空间中的图片，存到本地。 参考这里： http://www.cnbl ...
分类：
其他好文 时间：
2018-04-14 11:13:12
阅读次数：
316
