scrapy是一个python爬虫框架，使用起来还是非常简单的。使用pip安装scrapy 首先安装pip，安装后使用pip安装scrapy，pip install scrapyscrapy创建项目，及简单测试 这里有几个比较好的例子 http://blog.csdn.net/HanTangSo.....
分类：
其他好文 时间：
2014-12-08 22:59:17
阅读次数：
333
python 网页爬虫抓取的url页面 是GBK格式。
会显示乱码，所以以至于后面的用正则表达式匹配都是错误的。
以下方法可以解决此问题：
reload(sys)
sys.setdefaultencoding('utf-8')
在程序开头添加以上代码即可。...
分类：
编程语言 时间：
2014-12-08 19:39:09
阅读次数：
144
最近在研究Python，熟悉了一些基本语法和模块的使用；现在打算研究一下Python爬虫。学习主要是通过别人的博客和自己下载的一下文档进行的，自己也写一下博客作为记录学习自己过程吧。Python代码写起来和Java的感觉很不一样。Python爬虫主要使用的是urllib模块，Python2.x版本是...
分类：
编程语言 时间：
2014-12-07 20:19:36
阅读次数：
222
python2.7.6urllib:发送报文并得到responseBeautifulSoup：解析报文的body（html）#encoding=UTF-8
frombs4importBeautifulSoup
fromurllibimporturlopen
importurllib
list_no_results=[]#没查到的银行卡的list
list_yes_results=[]#已查到的银行卡的list
#解析报文，以字典..
分类：
编程语言 时间：
2014-12-05 19:49:25
阅读次数：
233
scrapy安装脚本#######installdependentpackageanddevelopment-lib#######
yum-yinstallgcczlibzlib-developensslopenssl-develbzip*libxml2*libxslt*libffi-devellibffi
#######installpython-2.7.7
wget‘https://www.python.org/ftp/python/2.7.7/Python-2.7.7.tgz‘
tar-zxvf..
分类：
编程语言 时间：
2014-12-04 15:53:54
阅读次数：
207
osx升级到10.9.5 和10.10后，很多软件出现无法打开的问题，This patch seems to be corrupted.Please make sure you get your patchers from a trusted source.原因是苹果修改了OS X 10.9.5 和...
分类：
系统相关 时间：
2014-12-03 14:10:52
阅读次数：
260
【前言】#本脚本用来爬取jd的页面：http://list.jd.com/list.html?cat=737,794,870到
#......http://list.jd.com/list.html?cat=737,794,870&page=11&JL=6_0_0的所有html的内容和图片。
#本脚本仅用于技术交流，请勿用于其他用途
#byRiver
#qq:179621252
#Date:2014-12..
分类：
编程语言 时间：
2014-12-03 01:56:51
阅读次数：
405
这两天决定学一下python，就找了个评价还不错的公开课看了两天，边看边敲代码，感觉python确实是一门很简单的语言，只要有点C++、C、Java或者其他语言基础，一两天完全可以入门python。当然入门简单，精通难，还是要靠多练。因为刚好要看Andrew Ng的机器学习课程，所以就顺便用这个爬虫程序抓取了网页上的视频...
分类：
编程语言 时间：
2014-11-30 09:19:22
阅读次数：
677
真是一个奇葩问题，对我来说是的，完全不知道是什么意思，但是他就是出现了。 找到了一个相关问题http://trac.ffmpeg.org/wiki/How%20to%20quickly%20compile%20libx264 If you get a message like this:（...
分类：
其他好文 时间：
2014-11-30 06:42:55
阅读次数：
163
转载自我的博客:http://www.mylonly.com/archives/1418.html#!/usr/bin/env python #coding: utf-8 ############################################################## F...
分类：
编程语言 时间：
2014-11-24 19:02:35
阅读次数：
261
