用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 ? 1 2 3 4 5 im ...
分类：
编程语言 时间：
2016-04-06 14:54:56
阅读次数：
217
Python爬虫利器二之Beautiful Soup的用法 Python 崔庆才 1年前 (2015-03-10) 87504℃ 38评论 上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练， ...
分类：
编程语言 时间：
2016-04-03 14:28:50
阅读次数：
264
1、基本抓取网页 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用 ...
分类：
编程语言 时间：
2016-04-01 20:21:12
阅读次数：
263
1.下载Anaconda，下载地址：https://www.continuum.io/downloads 2.安装anaconda. 3.安装scrapy ...
分类：
编程语言 时间：
2016-04-01 20:14:26
阅读次数：
246
本文主要是记录一下学习过程，相当于做一次笔记吧 主要参考崔庆才的Python爬虫学习系列教程(http://cuiqingcai.com/1052.html) 这里主要是一些Python的基础知识和爬糗事百科的一个实例： 一：基础知识 1.爬虫：趴在网络上的蜘蛛，遇见想要的资源，就会抓取下来。 2. ...
分类：
编程语言 时间：
2016-03-31 23:23:36
阅读次数：
229
python系列均基于python3.4环境 基本概念 html.parser的核心是HTMLParser类。工作的流程是：当你feed给它一个类似HTML格式的字符串时，它会调用goahead方法向前迭代各个标签，并调用对应的parse_xxxx方法提取start_tag,tag,data,com ...
分类：
编程语言 时间：
2016-03-31 14:31:43
阅读次数：
338
0.准备工作 1.相关教程 0.准备工作 1.相关教程 Python 爬虫系列教程：http://cuiqingcai.com/1052.html Python Web课程：http://www.cnblogs.com/moonache/p/5110322.html Python 中文参考文档：ht ...
分类：
编程语言 时间：
2016-03-29 16:38:45
阅读次数：
297
Python实现半自动发微博【用COOKIES代替模拟登录；用WAP版微博代替网页版微博；每次还要改post数据的URL。。。半半自动的感觉】微博的内容是从糗事百科抓取的最热段子以及某网站的每日晚安。#!/usr/bin/python
#coding=utf-8
importurllib
importurllib2
importtime
importrequ..
分类：
编程语言 时间：
2016-03-19 06:26:36
阅读次数：
235
一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，
分类：
编程语言 时间：
2016-03-19 06:17:12
阅读次数：
223
