# 使用进程池的进程爬取网页内容,使用回调函数处理数据,用到了正则表达式和re模块 import re from urllib.request import urlopen from multiprocessing import Pool def get_page(url,pattern): res... ...
分类:
系统相关 时间:
2018-10-23 22:58:32
阅读次数:
168
Web框架(Web framework)是一种开发框架,用来支持动态网站、网络应用和网络服务的开发。这大多数的web框架提供了一套开发和部署网站的方式,也为web行为提供了一套通用的方法。web框架已经实现了很多功能,开发人员使用框架提供的方法并且完成自己的业务逻辑,就能快速开发web应用了。浏览器 ...
分类:
Web程序 时间:
2018-10-22 14:54:00
阅读次数:
189
使用urllib中的quote,和unquote方法将汉字编码成gbk(2个百分号对应一个汉字)或者utf8(3个百分号对应一个汉字) ...
分类:
Web程序 时间:
2018-10-20 19:47:58
阅读次数:
279
#POST请求的数据保存在表单中dict#利用字典dict = {'what':'flag'}可以达到这一要求from urllib import request,parseurl = "http://123.206.87.240:8002/post/"headrs = { 'User-Agent'... ...
分类:
编程语言 时间:
2018-10-20 11:45:19
阅读次数:
151
1 安装 Package Control1.1 ctrl + ` 呼出控制台1.2 复制(不要带最外层的双引号,该代码仅适用于sublime text 3)“import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = ...
分类:
Web程序 时间:
2018-10-20 11:44:55
阅读次数:
237
# -*- coding: utf-8 -*- """ Created on Fri Aug 18 15:58:13 2017 @author: JClian """ import re import bs4 import urllib.request from bs4 import Beautif... ...
分类:
其他好文 时间:
2018-10-18 22:06:26
阅读次数:
280
Requests基于urllib3比urllib更简单方便。 基本的GET请求 1 2 3 4 import requests response = requests.get('http://httpbin.org/get') print(response.text) 1 2 3 4 import ...
分类:
其他好文 时间:
2018-10-17 11:07:57
阅读次数:
176
Requests Requests模块 Requests模块是一个用于网络访问的模块,其实类似的模块有很多,比如urllib,urllib2,httplib,httplib2,他们基本都提供相似的功能。 在上一篇我们已经使用urllib模块 而Requests会比urllib更加方便,可以节约我们大 ...
分类:
其他好文 时间:
2018-10-15 20:41:47
阅读次数:
651
# by luffycity.comimport refrom urllib.request import urlopendef getPage(url): # 获取网页的字符串 response = urlopen(url) return response.read().decode('utf-8 ...
分类:
其他好文 时间:
2018-10-15 16:16:50
阅读次数:
173
import re import json from urllib.request import urlopen import ssl # ?掉数字签名证书 ssl._create_default_https_context = ssl._create_unverified_context ersh... ...
分类:
Web程序 时间:
2018-10-14 14:09:30
阅读次数:
149