世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。开源爬虫汇总表开发语言软件名称软件介绍许可证JavaArach...
分类：
其他好文 时间：
2014-07-10 12:57:25
阅读次数：
489
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
CRL是一个面向对象的轻便型ORM业务框架数据处理使用了对象/数据映射,数据操作采用Lamada表达式来表示,增加了可编程性和可靠性,出错机率低,同时也能用原生的SQL实现查询或操作数据连接以编程方式进行配置,支持多个数据库,参见Global.asax中实现,首次使用请更改LocalSqlHelpe...
分类：
其他好文 时间：
2014-07-10 10:20:53
阅读次数：
650
#coding:utf-8import sys,urllib2,re,Queuesys.path.append("..")from lib.Http_Class import Http_Classfrom BeautifulSoup import BeautifulSoup#############...
分类：
编程语言 时间：
2014-07-07 20:49:39
阅读次数：
350
Miracast通讯架构中关于视频数据处理流程的部分。整个视频数据处理及传输的流程，大致上分为几个阶段，一开始将撷取到系统的画面及声音进行压缩，而压缩后的影音数据再转为基本封包串流(Packetized Elementary Stream, PES)封包格式，若应用HDCP，会将相关信息加进来，再以...
分类：
其他好文 时间：
2014-07-07 17:58:40
阅读次数：
203
iOS开发网络篇—实现一个视频播放客户端小应用（三）一、完善代码（封装）对代码进行封装,对tableviewcell的封装处理包括创建cell和封装，和对cell内部数据处理的封装。处理代码：主控制器中返回cell的部分：1 -(UITableViewCell *)tableView:(UITabl...
分类：
移动开发 时间：
2014-07-07 15:06:46
阅读次数：
232
欢迎转载，转载请注明出处，徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spa...
分类：
其他好文 时间：
2014-07-07 14:44:43
阅读次数：
213
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置web 页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...三、web页面开发 好吧，本来想单独写一章bootstrap的，但是前端确实没什么好写的，这里我们直接结合实际直....
分类：
Web程序 时间：
2014-06-30 11:58:55
阅读次数：
383
有的时候，总是在思考我们所学的技术能够指导我们的生活跟工作不能。在今晚听完包老师的课后，好像有所启发。第一堂课讲的是面向云计算，实时数据处理的数据中心。虽说内容记忆了许多，但是对未来的趋势个人觉得把握的很好。详细讲解了为什么服务器市场是那么的重要，同时也有..
分类：
其他好文 时间：
2014-06-29 21:30:32
阅读次数：
218
应用开发中，经常会遇到需要多线程技术的时候，比如UI显示和数据处理分开。在实际应用中经常会遇到这种场景，我们需要新开一个线程来监听数据状态（数据状态的改变，接收数据，发送数据等等），当发现数据状态改变时通知主线程（通过消息机制发送消息到主线程），主线程接收到通知之后进行处理（自定义消息处理接口）。具...
分类：
编程语言 时间：
2014-06-28 10:09:47
阅读次数：
214
