最近接触Python爬虫，以爬取学校新闻网新闻标题、日期、点击量为例，记录一下工作进度
目前，感觉Python爬虫的过程无非两步：
Step1.获取网页url(利用Python库函数import urllib2)
Step2.利用正则表达式对html中的字符串进行匹配、查找等操作
自我感觉sublime text2编辑器真心好用，部署Python后不会像WingIDE、notepa...
分类：
编程语言 时间：
2015-06-14 09:29:15
阅读次数：
2137
作为贴吧重度用户，写了个贴吧爬虫脚本抄了一些别人的代码，记得有个验证码解决的，但是忘了链接了，今天终于自己解决了。...
分类：
编程语言 时间：
2015-06-10 22:39:42
阅读次数：
364
在安装完scrapy以后，相信大家都会跃跃欲试想定制一个自己的爬虫吧？我也不例外，下面详细记录一下定制一个scrapy工程都需要哪些步骤。如果你还没有安装好scrapy，又或者为scrapy的安装感到头疼和不知所措，可以参考下前面的文章安装python爬虫scrapy踩过的那些坑和编程外的思考。.....
分类：
Web程序 时间：
2015-06-10 20:59:51
阅读次数：
212
这些天应朋友的要求抓取某个论坛帖子的信息，网上搜索了一下开源的爬虫资料，看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用。但是以前一直用的java和php，对python不熟悉，于是花一天时间粗略了解了一遍python的基础知识。于是就开干了，没想到的配置一个运行环境就花了我一天时间。.....
分类：
编程语言 时间：
2015-06-06 22:05:10
阅读次数：
665
2015-6-2今天把昨天Git上看的一个下载网易云音乐歌单歌曲的脚本尝试看懂并修改Git地址：https://github.com/keli/netease-music#! /usr/bin/env python# -*- coding: utf-8 -*-import urllib2import...
分类：
编程语言 时间：
2015-06-02 17:36:03
阅读次数：
382
1 import urllib2 2 response = urllib2.urlopen("http://www.baidu.com") 3 html = response.read() 4 5 #eg2 6 import urllib2 7 req = urllib2.Request("ht.....
分类：
编程语言 时间：
2015-06-02 12:46:20
阅读次数：
126
加入实验室，要写爬虫，以前写过java的，新学python练练手首先是发包程序，框架如下:首先是POST方式，代码如下: 1 import urllib 2 import urllib2 3 url='http://someserver.com/cgi-bin/register.cgi' 4 use...
分类：
编程语言 时间：
2015-05-30 23:57:40
阅读次数：
181
没想到python是如此强大，令人着迷，以前看见图片总是一张一张复制粘贴，现在好了，学会python就可以用程序将一张张图片，保存下来。今天逛贴吧看见好多美图，可是图片有点多，不想一张一张地复制粘贴，怎么办呢？办法总是有的，即便没有我们也可以创造一个办法。下面就看看我今天写的程序：#coding=u...
分类：
编程语言 时间：
2015-05-30 18:14:26
阅读次数：
181
