结对编程成员:阎大为,张跃馨 搭建环境: 1.安装python2.7 2.安装beautifulsoup4等相关模块 编写程序阶段: 1.分析html代码以及了解相关参数 2.写代码,爬取网站源码 3.对返回的源码进行分析 4.提取有用的信息 5.测试程序是否稳定 6.完善并提交 结对编程成员:阎大 ...
分类:
其他好文 时间:
2017-09-11 13:39:26
阅读次数:
130
1. Beautiful Soup的简介 2. Beautiful Soup 安装 可以利用 pip 或者 easy_install 来安装,以下两种方法均可 easy_install beautifulsoup4 pip install beautifulsoup4 Beautiful Soup支 ...
分类:
Web程序 时间:
2017-08-30 20:45:34
阅读次数:
219
pip3 install requests pip3 install BeautifulSoup4 还需要使用jupyter: pip3 install jupyter 打开jupyterbook: jupyter notebook ...
分类:
其他好文 时间:
2017-08-21 15:44:12
阅读次数:
150
python3 -m pip install beautifulsoup4 安装 pip升级报错:You are using pip version 8.1.1, however version 9.0.1 is available. You should consider upgrading 分割 ...
分类:
其他好文 时间:
2017-08-14 13:24:52
阅读次数:
166
在pycharm里,有安装组件的方法,进入File-Setting-Project:StockMarket-ProjectInterPreter,在右边点击“+”,进入搜索页面,搜索到就可以点击左下的InstallPackage进行安装。在安装tushare的过程,提示了需要安装的几个包,如lxml,pandas,beautifulsoup4,requests。安装..
分类:
其他好文 时间:
2017-08-08 16:50:52
阅读次数:
267
中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html# 1.1 安装BeautifulSoup模块和解析器 1) 安装BeautifulSoup pip install beautifulsoup4 2) 安 ...
分类:
其他好文 时间:
2017-08-05 18:56:06
阅读次数:
123
url = http://zst.aicai.com/ssq/openInfo/ 体育彩票开奖信息:一种思路是正则Html,另一种相当于一个框架xml解析html. 两种方法没有优缺点,不能说那个方便,那个代码少就是容易。有精力还是要有正则扎实的基础才好。 import urllib.request ...
分类:
其他好文 时间:
2017-08-02 19:55:58
阅读次数:
359
爬取前的准备: BeautifulSoup的导入:pip install BeautifulSoup4 requests的导入:pip install requests 下载jupyter notebook:pip install jupyter notebook 下载python,配置环境(可使用 ...
分类:
编程语言 时间:
2017-07-29 23:14:38
阅读次数:
566
# Python 爬虫基础知识 ● Python 爬虫基础知识 安装爬虫库 beautifulsoup4 pip install beautifulsoup4 lxml HTML 解析器 pip install html5lib html5lib pip install html5lib ● 使用库 ...
分类:
编程语言 时间:
2017-07-27 09:35:31
阅读次数:
158
Setup.py文件 from setuptools import setup from codecs import open # 第三方依赖包及版本号 requires = ['beautifulsoup4>=4.3.2', 'gearman>=2.0.2', 'pymongo>=2.7.2', ...
分类:
编程语言 时间:
2017-07-26 13:40:41
阅读次数:
181