团队项目开发人员：邵文强，宁培强，邵瀚庆，潘新宇，李国峰，张晓亮 项目分析： 1. 引言 1.1 目的：为网络数据爱好者更好的收集数据 1.2背景：软件系统名称：网络爬虫 1.3 定义 ：网络爬虫 搜索引擎Web url信息互联网 1.4 参考资料 百度搜索 2.任务概述 2.1 目标 系统流程图： ...
分类：
其他好文 时间：
2017-09-07 21:20:56
阅读次数：
187
#coding=utf-8import urllib.requestimport redef getHtml(url): page = urllib.request.urlopen(url) html = page.read() return htmldef getImg(html): html = ...
分类：
编程语言 时间：
2017-09-07 19:34:33
阅读次数：
165
#coding:utf-8 import urllib legal_person_string = "%E6%B3%95%E5%AE%9A%E4%BB%A3%E8%A1%A8%E4%BA%BA" legal_person_string = legal_person_string.decode("gb... ...
分类：
Web程序 时间：
2017-09-06 14:25:23
阅读次数：
154
9月5日今天早晨学习了网易云课程《Python做Web工程师课程》提前预习课程《学会开发静态网页》。轻松的完成了第五节课的两个实战作业——感觉自己这几天的功夫没有白费，总算学会了点儿东西，即使是非常浅薄也满足感爆棚。也浏览了一遍第6节课<用css定制10MINs首页（上）>和第7节课<用css定制1 ...
分类：
编程语言 时间：
2017-09-06 00:27:58
阅读次数：
180
#python3 get and post 简单封装from urllib import request, parseimport jsondef RequestMethod(methodR, url, data_dict, headers_dict): if methodR == 'GET': r ...
分类：
编程语言 时间：
2017-09-05 15:56:19
阅读次数：
242
一、介绍Requests是用Python语言编写，基于urllib，但是它比urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。Requests的哲学是以PEP20的习语为中心开发的，所以它比urllib更加Pythoner。更重要的一点是它支持Python3！二、用法1、使用Requests发送网络请求 imp..
分类：
编程语言 时间：
2017-09-04 15:11:43
阅读次数：
133
pip下载地址：https://pypi.python.org/pypi/pip 解压缩到python文件夹下 打开cmd,进入pip文件夹，运行python setup.py install 报错的话，缺少什么下载安装什么，步骤跟pip一样 urllib3下载地址：https://pypi.pyt ...
分类：
编程语言 时间：
2017-09-04 13:19:37
阅读次数：
172
要学习Python爬虫，我们要学习的共有以下几点： Python基础知识 Python中urllib和urllib2库的用法 Python正则表达式 Python爬虫框架Scrapy Python爬虫更高级的功能 1.Python基础学习 首先，我们要用Python写爬虫，肯定要了解Python的基 ...
分类：
编程语言 时间：
2017-09-04 10:54:25
阅读次数：
209
Python readability的使用： from readability.readability import Document import urllib html = urllib.urlopen(url).read() readable_article = Document(html). ...
分类：
Web程序 时间：
2017-09-04 09:46:25
阅读次数：
615
摘抄自：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432688314740a0aed473a39f47b09c8c7274c9ab6aee000 Get urllib的 ...
分类：
编程语言 时间：
2017-09-03 17:13:28
阅读次数：
260
