import osresponse = urllib.request.urlopen("http://pvp.qq.com/web201605/js/herolist.json")hero_json = json.loads(response.read())hero_num = len(hero_j ...
分类：
编程语言 时间：
2018-07-11 00:58:11
阅读次数：
180
Package Control组件在线安装按Ctrl+`调出console（注：避免热键冲突）粘贴以下代码到命令行并回车：import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(); urllib.request.install_o
分类：
其他好文 时间：
2018-07-10 12:49:57
阅读次数：
146
--题目--（1） 列举python网络爬虫所引用的模块包，提取数据用到的模块(至少各2个) requests、urllib | jsonpath xpath beautifulsoup （2）浏览器请求某网站时，从输入到页面显示出来，描述一下请求过程 1.敲域名回车 2.查询本地的DNS缓存，以找 ...
分类：
其他好文 时间：
2018-07-09 21:30:22
阅读次数：
224
f = request.urlopen(url)f.status 获取status， f.reason获取状态码 f.getheaders()获取请求头（键值对）f.read()获取所有内容f.read().decode('utf8')设置编码 f.add_header(）模拟请求头f.urlret... ...
分类：
Web程序 时间：
2018-07-09 19:49:06
阅读次数：
257
参考：python下载文件的三种方法（去掉-） 方法一：wget 方法二：urllib ...
分类：
编程语言 时间：
2018-07-09 17:14:53
阅读次数：
222
1.搭建服务器：const http = require('http');const urlLib = require('url');const querystring = require('querystring');const fs = require('fs'); http.createSer ...
分类：
Web程序 时间：
2018-07-08 16:41:18
阅读次数：
211
1、urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)，将urlstring拆分成6个部分，含义如下图。返回的是一个子类的元组。 2、urllib.parse.urlunparse(parts)，与urlparse功能相 ...
分类：
Web程序 时间：
2018-07-06 21:35:01
阅读次数：
238
ython请求数据 基本的HTTP协议知识后，大家可能会疑问那我该如何模仿浏览器或者手机客户端去向服务器发送HTTP请求呢?python的原生库urllib、第三方库requests、pycurl等都支持HTTP协议，既然有这么多工具可以用，大家可能就又有疑问该选择哪个工具了。在此我特地安利大家用一 ...
分类：
其他好文 时间：
2018-07-06 19:44:21
阅读次数：
169
requests+bs4+lxml直接获取并解析html数据抓包ajax请求，使用requests获取并解析json数据反爬严重的网站，使用selenium爬取设置代理????a.urllib/requests/selenium+chrome/selenium+phantomjs设置代理????b.爬取免费代理网站中的
分类：
编程语言 时间：
2018-07-06 18:31:31
阅读次数：
230
1.requests Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。 requests模块的参数 1.1 get #发送get请求 ...
分类：
编程语言 时间：
2018-07-06 15:56:19
阅读次数：
179
