把写代码过程中经常用到的一些代码段珍藏起来，下面的代码段是关于python解析远程web页面的代码。importhtmllib,urllib,formatter,sysdefparse(url,formatter):f=urllib.urlopen(url)data=f.read()f.close()p=htmllib.HTMLParser(formatter)p.feed(data)p.clos
分类：
编程语言 时间：
2019-06-12 18:05:06
阅读次数：
100
urllib库 urllib库是python中的一个基本网络请求库。用于模拟浏览器的行为，向指定服务器发送请求，并接收返回的数据。 在python3中所有的网络请求相关函数都集中在urllib.request模块下面 urlopen函数 向服务器发起请求 urlopen函数的参数 1. url 目标 ...
分类：
Web程序 时间：
2019-06-10 10:37:19
阅读次数：
115
上一篇说了请求访问的流程，这一篇说一下请求对应的源码调用 as_view 定义view dispatch dispatch initialize_request get_parsers (获取解析器） parser_context （解析上下文） get_authentitors （获取认证器） g ...
随着express升级，bodyParser从express中被分离了出来，因此，在使用express新版本的时候，需要npm install body-parser 来安装bodyParser。 在app.js中要引入bodyParser。 var bodyParser = require(‘bo ...
分类：
Web程序 时间：
2019-06-06 10:45:23
阅读次数：
125
```
# coding=utf-8 from bs4 import BeautifulSoup
import requests
import urllib
x = 1
y = 1 def crawl(url): res = requests.get(url) soup = BeautifulSou... ...
分类：
Web程序 时间：
2019-06-03 22:00:21
阅读次数：
311
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapRe ...
分类：
其他好文 时间：
2019-05-26 19:56:20
阅读次数：
156
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapRe ...
分类：
其他好文 时间：
2019-05-26 18:25:54
阅读次数：
104
```python
# coding=UTF-8
# see: https://www.cnblogs.com/victorwu/p/5762665.html
# python2.7 可用
import argparse parser = argparse.ArgumentParser(descri... ...
分类：
编程语言 时间：
2019-05-26 18:24:13
阅读次数：
134
Sniff方法定义： sniff(filter="",iface="any", prn=function, count=N) 1、filter的规则使用 Berkeley Packet Filter (BPF)语法，具体参考：http://blog.csdn.net/qwertyupoiuytr/a ...
分类：
编程语言 时间：
2019-05-26 12:59:49
阅读次数：
961
package com.tl.spider.parser.impl; import com.tl.spider.download.WebPageDownLoadUtil; import com.tl.spider.parser.interfaces.ParseFieldsInterface; imp... ...
分类：
Web程序 时间：
2019-05-19 18:12:45
阅读次数：
146
