#coding:utf-8import urllib#######爬虫v0.1 利用urlib2 和 字符串内建函数####### 获取网页内容def getHtml(url): page = urllib.urlopen(url) html = page.read() retur...
分类：
编程语言 时间：
2015-06-20 20:51:01
阅读次数：
157
#include #include #include #define MAXSIZE 1024#pragma comment(lib, "Wininet.lib")void urlopen(TCHAR*);int main(int argc, TCHAR* argv[]){TCHAR ch[] = ...
分类：
Web程序 时间：
2015-06-17 14:41:23
阅读次数：
159
python的字符串编码识别模块（第三方库）：官方地址：http://pypi.python.org/pypi/chardetimport chardetimport urllib# 可根据需要，选择不同的数据TestData = urllib.urlopen('http://www.baidu.c...
分类：
编程语言 时间：
2015-06-14 18:15:17
阅读次数：
118
15.1屏幕抓取屏幕抓取是程序下载网页并且提取信息的过程。 简单的屏幕抓取程序fromurllibimporturlopenimportrep=re.compile(‘<h3><a.*?><a.*?href="(.*?)">(.*?)</a>‘)text=urlopen(‘http://python.org/community/jobs‘).read()forurl,nameinp.findal..
分类：
编程语言 时间：
2015-06-13 06:23:51
阅读次数：
147
早上还有实验验收，先上代码，早上再写。import urllib2import refrom bs4 import BeautifulSoupcontent = urllib2.urlopen("http://www.cnblogs.com/ly941122/").read();soup=Beaut...
分类：
Web程序 时间：
2015-06-13 01:06:05
阅读次数：
215
python的web相关模块，有两种不同的类型，urlparse和urllib，分别以不同的功能和兼容性来处理URL，前者主要包括urlparse()、urlunparse()和urljoin()，后者可以使用urlopen()或urlretrive()创建web客户端。urllib2模块是一个比urllib功能更加高级的模块。web开发，无疑要用到统一资源定位器URL，URL格式如下：prot_s...
分类：
编程语言 时间：
2015-06-10 14:19:32
阅读次数：
180
importurllib.request,urllib.parse#引入模块remotefile=urllib.request.urlopen(remoteaddr)#返回远端文件对象remoteaddr=‘ftp://zks:%s@192.168.100.113/%s;type=i‘%(password,filename)#ftp密码和文件名，也可以是http开头的网页地址localfile=open(filename,‘wb‘).write(re..
分类：
编程语言 时间：
2015-06-09 06:19:57
阅读次数：
137
在对网站发送请求的时候，一直出现503错误，代码如下： HTTP Error 503: Service Unavailable 查询网络原因，主要是对方对自动化查询做了限制，可以修改header头来欺骗他，但是这种方法并不总是有效，可以参考链接： http://stackoverflo...
分类：
编程语言 时间：
2015-06-03 06:07:50
阅读次数：
248
1 import urllib2 2 response = urllib2.urlopen("http://www.baidu.com") 3 html = response.read() 4 5 #eg2 6 import urllib2 7 req = urllib2.Request("ht.....
分类：
编程语言 时间：
2015-06-02 12:46:20
阅读次数：
126
importurllib.requestimportreasggimportos,string,sysimporteasyguiasgresult=[]#urllib.urlopen(url)获取网页源码函数#urllib.urlretrieve(url,‘存储名字‘)将网页资源下载到本地函数defgetyuanma(_url):page=urllib.request.urlopen(_url).read()page1=page.decode(‘UTF-8‘)#..
分类：
其他好文 时间：
2015-05-27 19:28:15
阅读次数：
185
