一、简单的安装方法使用Ctrl+`快捷键或者通过View->Show Console菜单打开命令行，粘贴如下代码：import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_pac...
分类：
其他好文 时间：
2015-08-06 12:53:34
阅读次数：
104
urllib是python的一个获取url(Uniform Resource Locators,统一资源定址器)了，我们可以利用它来抓取远程的数据进行保存哦，下面整理了一些关于urllib使用中的一些关于header,代理,超时,认证,异常处理处理方法，下面一起来看看。python3 抓取网页资源的...
分类：
编程语言 时间：
2015-08-06 10:49:48
阅读次数：
162
# -*- coding:utf-8 -*- import urllibimport urllib.requestimport repage = 1 url = 'http://www.qiushibaike.com/hot/page/1'+str(page)user_agent = 'Mozil....
分类：
编程语言 时间：
2015-08-06 00:12:27
阅读次数：
176
post方式# -*- coding:utf-8 -*-import urllib.parse #python2 在这道程序中只需引入urllibimport urllib.request #python 在这道程序中引入urllib2values = {}values['username']=.....
分类：
编程语言 时间：
2015-08-05 00:57:44
阅读次数：
154
import?re
import?urllib
import?urllib.request
from?collections?import?deque
queue?=?deque()#存放待爬取的网址
visited?=?set()#存放爬取过的网址。判断是否爬取过
url?=?"http://news.dbanotes...
分类：
编程语言 时间：
2015-08-04 17:29:13
阅读次数：
128
问题：在Python3.4中 运行如下代码报错，找不到urllib2
import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
print response.read()
解决办法：
import urllib.request
resp=urllib.request.urlopen('http...
分类：
编程语言 时间：
2015-08-04 17:15:14
阅读次数：
295
图片处理 - 使用beautifulSoup模块标签（空格分隔）： python使用beautifulSoup模块使用BeautifulSoup对HTML内容解析之后，HTML内容就变成了结构化数据，可以轻易对其中的DOM元素进行操作，比如获取数据，修改，删除等。from bs4 import BeautifulSoup
import urllib,urllib2def getContext(url...
分类：
其他好文 时间：
2015-08-02 18:18:14
阅读次数：
241
总体功能：下载百度贴吧网页的图片
这个例子延续了上一个抓取贴吧楼主发布内容的例子，上一个例子是把图片剔除掉了，这边重新做了一个下载图片的demo，比较简单。
代码：
# -*- encoding:utf-8 -*-
# 下载贴吧的图片
import re
import urllib
import urllib2
#下载百度贴吧图片类
class DownloadIm...
分类：
其他好文 时间：
2015-08-02 11:49:21
阅读次数：
213
chardet字符集检测模块chardet 字符集检测模块需要安装pip install chardet 可以检测网页，也可以检测字符串import urllib
import chardet'''
从网页的头部信息可以查看的内容
网页的大小,编码等(有时候可能为空)可以使用chardet来检测网页的编码
'''url = 'http://baidu.com'headerInfo = urllib....
分类：
其他好文 时间：
2015-08-02 01:03:28
阅读次数：
123
# -*- coding: utf-8 -*-import urllib.requestimport reurl='http://s.weibo.com/weibo/%25E9%25BE%2599%25E9%25BA%2592&Refer=STopic_box'urlfile=urllib.requ...
分类：
编程语言 时间：
2015-08-02 00:49:26
阅读次数：
186
