我的环境是ubuntu14.04安装scrapy，我使用pip
安装如果你还没安装pip，用下面命令安装sudo apt-get install python-pip然后使用pip来安装python相关的库扩展pip
install scrapy不过出现错误error: could not cre....
分类：
其他好文 时间：
2014-05-19 15:19:27
阅读次数：
364
之前看过Python学习的经验，说以工程为导向学习。
自己分析了一下，一般接触Python的都有一定的其他语言基础，对于程序设计的基本逻辑，语法都有一个大概的了解。而Python这种脚本语言，没有过于独特的语法，在一定的其他语言的基础上，更是可以直接上手的。
之前看Python简明教程，半天没有进度。正好遇上Python爬虫项目，直接上手，方便快捷。
网站：http://acm.njupt.edu.cn/welcome.do?method=index，正值系统更新，于是写一个备份代码的爬虫。...
分类：
编程语言 时间：
2014-05-18 08:25:35
阅读次数：
461
前言第一次接触Autofac是因为CMS系统--Orchard，后来在一个开源爬虫系统--NCrawler中也碰到过，随着深入了解，我越发觉得Ioc容器是Web开发中必不可少的利器。那么，Ioc容器是用来做什么的？用了有什么好处？我相信如果不明白这两点就很难敞开心扉接受Ioc容器。传统解耦设计的弊端...
分类：
其他好文 时间：
2014-05-16 22:34:11
阅读次数：
361
简单爬虫R实现1、广度优先搜索策略网页的结构通常是一个页面包含正文和多个链接，这些链接大部分是域内链接，但也含有域外链接。通过对这些链接进行遍历，一层一层地搜索就可以搜索到所有页面。如图，网页结构已经很好的显示了一种图的层次结构。在这种图的结构中，简单地实现遍历，我们就可以采用两种遍历方式，广度优先...
分类：
其他好文 时间：
2014-05-16 21:08:33
阅读次数：
339
最近在做语义方面的问题，需要反义词。就在网上找反义词大全之类的，但是大多不全，没有我想要的。然后就找相关的网站，发现了http://fanyici.xpcha.com/5f7x868lizu.html，还行能把“老师”-“学生”，“医生”-“病人”这样对立关系的反义词查出来。一开始我想把网站中数据库...
分类：
编程语言 时间：
2014-05-16 08:10:36
阅读次数：
465
只需要使用一台笔记本，打开几个web标签页，仅仅拷贝一些指向10MB文件的链接，Google去抓取同一文件的流量就超过了700Mbps。Google的FeedFetcher爬虫会将spreadsheet的=image(“link”)中的任意链接缓存。如果我们将=image(“http://examp...
分类：
其他好文 时间：
2014-05-16 06:43:25
阅读次数：
461
最近在做一个网络爬虫程序，后台使用python不定时去抓取数据，前台使用php进行展示
网站是：http://se.dianfenxiang.com...
分类：
编程语言 时间：
2014-05-15 19:49:12
阅读次数：
291
本文通过python 来实现这样一个简单的爬虫功能，把我们想要的图片爬取到本地。...
分类：
编程语言 时间：
2014-05-15 15:09:46
阅读次数：
450
学校的服务器可以上外网了，所以打算写一个自动爬取笑话并发到bbs的东西，从网上搜了一个笑话网站，感觉大部分还不太冷，html结构如下：
可以看到，笑话的链接列表都在里面，用正则表达式可以把最近的几个笑话地址找出来，再进到一个笑话页面看下：
每一个笑话页面里面是有多个小笑话组成的，全部在标签下，每个小笑话又单独一个包裹，这样非常容易...
分类：
编程语言 时间：
2014-05-15 11:18:58
阅读次数：
362
OJ升级,代码可能会丢失. 所以要事先备份. 一开始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启发和聪神的原始代码, 网页爬虫走起!
已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本, 试了一下修改到3.0版本, 要做很多包的更替,感觉比较烦,所以索性就在这个2.7版本上完善了.
首先观赏一下原始代码,我给加了一些注释:
# -*-...
分类：
编程语言 时间：
2014-05-15 02:39:45
阅读次数：
439
