利用python对豆瓣电影评价的爬取，并生成词云 一、抓取网页数据 第一步要对网页进行访问，python中使用的是urllib库。代码如下： 第二步，需要对得到的html代码进行解析，得到里面提取我们需要的数据。 在python中使用BeautifulSoup库进行html代码的解析。 Beauti ...
分类：
编程语言 时间：
2018-04-22 12:50:53
阅读次数：
511
团队模式 我们团队选择的模式是功能团队模式，具备不同能力的同学们平等协作，共同完成一个功能。在这个功能完成之后，这些人又重新组织，和别的角色一起去完成下一个功能。他们之间没有管理和被管理的关系，小组内的交流也比较频繁。 团队人员：RXXTN、 "非职业天使" 、 "略略li" 、 "轻咏上邪" 、 ...
分类：
移动开发 时间：
2018-04-21 21:19:26
阅读次数：
602
pip国内的一些镜像 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 h ...
分类：
编程语言 时间：
2018-04-21 19:28:17
阅读次数：
182
安装virtualenv 如果下载较慢，可以添加豆瓣源： 下载其他包也同样可以使用豆瓣源。 使用virtualenv创建虚拟环境： 运行环境： 退出环境只需在环境中输入下面代码： 通过mkvirtualenv管理虚拟环境： 配置 workon 路径 在 ~/.bashrc中添加以下代码： 可以通过以 ...
分类：
移动开发 时间：
2018-04-21 14:24:48
阅读次数：
269
相信很多人都有书荒的时候，想要找到一本合适的书籍确实不容易，所以这次利用刚学习到的知识爬取豆瓣网的各类书籍，传送门https://book.douban.com/tag/?view=cloud。 首先是这个程序的结构，html_downloader是html下载器，html_outputer是导出到 ...
分类：
其他好文 时间：
2018-04-19 21:58:04
阅读次数：
653
import requests from bs4 import BeautifulSoup def get_book(url): wb_data = requests.get(url) soup = BeautifulSoup(wb_data.text,'lxml') title_list = so... ...
分类：
其他好文 时间：
2018-04-18 01:02:17
阅读次数：
385
目标：爬取豆瓣电影TOP250的所有电影名称，网址为：https://movie.douban.com/top250 1）确定目标网站的请求头： 打开目标网站，在网页空白处点击鼠标右键，选择“检查”。（小编使用的是谷歌浏览器）。 点击“network”，在弹出页面若长时间没有数据显示，则试一下F5刷 ...
分类：
编程语言 时间：
2018-04-13 21:24:10
阅读次数：
234
Wxpy初体验 1.1 安装wxpy 在这里默认大家以及安装好了pip，我们需要安装wxpy 以及wechat_sender 两个包，这里推荐使用国内的豆瓣源，如果大家网速过硬 请忽略。。 1 2 pip install wxpy -i "https://pypi.doubanio.com/simp ...
分类：
微信 时间：
2018-04-13 11:13:22
阅读次数：
3295
爬虫的学习相对来说，比较烦锁，因为网站的反爬规则，经过两天的研究，终于搞定了抽屉新热榜自动点赞与豆瓣自动统一短评（豆瓣登录的验证码目前需要手动输入） 抽屉网的规则问题 示例如下： 豆瓣网 ...
分类：
其他好文 时间：
2018-04-12 18:00:22
阅读次数：
340
1 # coding=utf-8 2 import urllib 3 import re 4 #获取源码 5 def gethtml(pg): 6 url = 'https://movie.douban.com/top250?start=%d&filter=' % pg 7 html = urlli... ...
分类：
编程语言 时间：
2018-04-09 17:11:02
阅读次数：
171
