在采集网页信息的时候，经常需要伪造报头来实现采集脚本的有效执行下面，我们将使用urllib2的header部分伪造报头来实现采集信息方法1、?1234567891011121314151617181920212223242526272829#!/usr/bin/python# -*- coding:...
分类：
编程语言 时间：
2015-06-21 23:40:45
阅读次数：
124
写个自己看的1.命令行模式ctrl+` 可以调出命令行模式(view->show console)，主要支持python语法等，没试用过只知 quit()可以退出 。。不过sublime的插件平台package controller可以用命令行安装.2.输入以下内容import urllib2,os...
分类：
其他好文 时间：
2015-06-19 21:30:38
阅读次数：
174
preface:最近学习工作之外，有个异性朋友需要爬取动态网页的要求，输入关键词爬取某个专利网站在该关键词下的一些专利说明。以往直接python urllib2可破，但是那只是对于静态网页可破，但是对于用js等其他的生成的动态网页的话，则貌似不行（没试过）。然后在网上找了些资料，发现scrapy结合selenium包好像可以。（之所以这么说，暂时卤主也还没实现，先记录下来。）
#========...
分类：
编程语言 时间：
2015-06-17 23:23:31
阅读次数：
209
爬虫学习一系列：urllib2抓取网页内容所谓网页抓取，就是把URL地址中指定的网络资源从网络中读取出来，保存到本地。我们平时在浏览器中通过网址浏览网页，只不过我们看到的是解析过的页面效果，而通过程序获取的则是程序源代码。我们通过使用Python中urllib2来获取网页的URL资源，最简单方法就是...
分类：
Web程序 时间：
2015-06-17 00:36:34
阅读次数：
195
import urllib2 as urlimport reurls = 'http://www.php100.com/html/it/'headers = {'User-Agent':'Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2...
分类：
编程语言 时间：
2015-06-17 00:26:10
阅读次数：
187
最近接触Python爬虫，以爬取学校新闻网新闻标题、日期、点击量为例，记录一下工作进度
目前，感觉Python爬虫的过程无非两步：
Step1.获取网页url(利用Python库函数import urllib2)
Step2.利用正则表达式对html中的字符串进行匹配、查找等操作
自我感觉sublime text2编辑器真心好用，部署Python后不会像WingIDE、notepa...
分类：
编程语言 时间：
2015-06-14 09:29:15
阅读次数：
2137
最近犯懒，但这么长时间没点成果实在过意不去。朋友研究树莓派，前几天帮他写个语音天气预报的程序。就让我用来凑个数吧。#coding=utf-8import urllib2,json,subprocess,time'''使用云聚数据的接口获取天气数据，接口文档： 实时天气接口：http://www.36...
分类：
编程语言 时间：
2015-06-13 21:34:18
阅读次数：
212
早上还有实验验收，先上代码，早上再写。import urllib2import refrom bs4 import BeautifulSoupcontent = urllib2.urlopen("http://www.cnblogs.com/ly941122/").read();soup=Beaut...
分类：
Web程序 时间：
2015-06-13 01:06:05
阅读次数：
215
python的web相关模块，有两种不同的类型，urlparse和urllib，分别以不同的功能和兼容性来处理URL，前者主要包括urlparse()、urlunparse()和urljoin()，后者可以使用urlopen()或urlretrive()创建web客户端。urllib2模块是一个比urllib功能更加高级的模块。web开发，无疑要用到统一资源定位器URL，URL格式如下：prot_s...
分类：
编程语言 时间：
2015-06-10 14:19:32
阅读次数：
180
简介 google 模块是谷歌搜索引擎python接口，系用urllib2在google上进行搜索，使用BeautifulSoup进行解释外部封装，非google官方接口。 功能：谷歌搜索引擎python接口 类型：外部模块 当前版本：1.0.5（查看日期2...
分类：
编程语言 时间：
2015-06-10 10:34:55
阅读次数：
313
