I would like to retrieve the content of a url. Similar to pythons:html_content = urllib.urlopen("http://www.test.com/test.html").read()In examples(jav...
分类：
Web程序 时间：
2014-10-18 15:21:48
阅读次数：
232
举例：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib
import urllib2
def main():
url = "http://www.douban.com"
#浏览器头
headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1;...
分类：
编程语言 时间：
2014-10-17 16:54:14
阅读次数：
183
前言：urllib.parse模块按功能分为两大类：URL parsing（url解析） 和URL quoting（url引用）。一.URL parsing：主要是1.把URL字符串分割成组件2.把组件合并成url字符串1.1. urllib.parse.urlparse(urlstring, sc...
分类：
Web程序 时间：
2014-10-16 01:06:21
阅读次数：
613
Python2 name Python3 nameurllib.urlopen() urllib.request.urlopen()urllib2.urlopen() urllib.request.urlopen()urllib.urlretrieve() urllib.request.urlret...
分类：
编程语言 时间：
2014-10-15 18:27:35
阅读次数：
252
简介：urllib2是python的一个获取url（Uniform Resource Locators，统一资源定址器）的模块。它用urlopen函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url成为可能。它同时 也提供了一个稍微复杂的接口来处理常见的状况-如基本的认证，cooki...
分类：
编程语言 时间：
2014-10-13 18:29:17
阅读次数：
185
import sys,urllib,urllib2,getpass#定义TerminalPwd类扩展HTTPPasswordMgr，允许在需要的时候询问操作员输入密码class TerminalPwd(urllib2.HTTPPasswordMgr): def find_user_passwo...
分类：
编程语言 时间：
2014-10-12 20:24:08
阅读次数：
217
先上代码，比较长。 1 # -*- coding=utf-8 -*- 2 __author__ = 'lhyz' 3 4 import urllib 5 import re 6 import socket 7 import time 8 import os 9 10 #使用当前时间创建文件夹11 ....
分类：
编程语言 时间：
2014-10-12 02:35:37
阅读次数：
517
#!/usr/bin/python
import re
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg(html):
reg = r'src="(.*?\.jpg)" width'
imgre = re.compile(reg)
...
分类：
编程语言 时间：
2014-10-11 23:57:32
阅读次数：
211
本人比较喜欢看美剧，尤其喜欢人人影视上HR-HDTV 的 1024 分辨率的高清双字美剧，这里写了一个脚本来批量获得指定美剧的所有 HR-HDTV 的 ed2k下载链接，并按照先后顺序写入到文本文件。这个 python 爬虫比较短，就用到了 urllib.request 和 re 这两个模块，前者负责抓取网页，后者负责解析文本。想进一步加强爬虫的功能，可以用爬虫框架 Scrapy。还有就是，网页内容多是 javascript 生成，就需要一个 js 引擎了，PyV8 可以拿来试试，再有就是基于 js 的爬虫...
分类：
编程语言 时间：
2014-10-11 22:03:36
阅读次数：
344
一直以来技术群里会有新入行的同学提问关于urllib和urllib2以及cookielib相关的问题。所以我打算在这里总结一下，避免大家反复回答同样的问题浪费资源。这篇属于教程类的文字，如果你已经非常了解urllib2和cookielib那么请忽略本篇。首先从一段代码开始，#cookieimport...
分类：
编程语言 时间：
2014-10-11 13:53:15
阅读次数：
255
