Apache storm 是一个由twitter开源的大数据处理系统，与其他系统不同的是，storm旨在用于分布式实时处理并且与语言无关。笔者所认知的storm使用场景诸 如 实时日志分析、网站用户行为实时分析、实时计算等，目前很多公司也都把storm作为自己的大数据架构的一部分，来实现一些实时业务...
分类：
Web程序 时间：
2015-01-14 14:10:42
阅读次数：
207
一、回顾
让我们回顾一下，在上几章里都讲了什么？总结如下：
《柯南君：看大数据时代下的IT架构（1）业界消息队列对比》
《柯南君：看大数据时代下的IT架构（2）消息队列之RabbitMQ-基础概念详细介绍》
《柯南君：看大数据时代下的IT架构（3）消息队列之RabbitMQ-安装、配置与监控》
《柯南君：看大数据时代下的IT架构（4）消息队列之RabbitMQ--案例（Helloword起航）》
《柯南君：看大数据时代下的IT架构（5）消息队列之RabbitMQ--案例（Work Queues起航）》
《...
分类：
其他好文 时间：
2014-12-16 13:37:52
阅读次数：
220
文章翻译自：http://opensource.com/business/14/11/open-source-accelerating-pace-software
当我们谈论社区带给开源软件的创新性和革新意识的时候，我们总是谈论开源对于社区内部的代码贡献和分工合作的促进作用。贡献者越多，合作的分歧和争端就会越少。
然而，当云计算、大数据和物联网席卷整个个IT界，以至于...
分类：
其他好文 时间：
2014-11-29 12:00:19
阅读次数：
195
我接触过的大数据有：
1.美国棱镜计划
2.前几天新闻报道的，苹果公司窃取用户隐私
3.百度的用户搜素习惯统计分析
4.淘宝的用户购物习惯分析，智能推荐宝贝
5.浏览器的智能标签页
...
最想了解的大数据架构与算法：
1.著名的Google 网页排名算法：PageRank
2.著名的聚类算法：K-Means
7.CART
3.C4.5
4.k-Mea...
分类：
其他好文 时间：
2014-10-27 11:00:21
阅读次数：
214
大数据架构设计原则从功能模块可划分为：数据标准（数据标准字典，数据流程规范）;数据模型（数据主题域，概念模型，主数据体系，模型选择）;数据管理体系(管理规范及流程，质量控制，元数据管理，调度管理，日志监控）从业务需求，主要要求有：灵活性，简易性，安全性，连续性..
分类：
其他好文 时间：
2014-09-29 19:44:51
阅读次数：
403
大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林著ISBN978-7-121-24153-62014年9月出版定价：69.00元404页16开编辑推荐这是一本心血之作，历时3年，质量上乘。从架构与算法的角度，比较全面地分门别类梳理了大..
分类：
其他好文 时间：
2014-09-26 01:09:59
阅读次数：
469
大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林 著 ISBN 978-7-121-24153-62014年9月出版定价：69.00元 404页16开编辑推荐这是一本心血之作，历时3年，质量上乘。从架构与算法的角度，比较全面地分门别类梳理了...
分类：
其他好文 时间：
2014-09-25 17:02:59
阅读次数：
330
《大数据日知录：架构与算法》前言
像移动互联网、O2O、可穿戴设备等概念一样，“大数据”从甫一提出到飓风般席卷并风靡全球，从最初的技术名词到形成渗透各行各业的社会现象，所耗时间仅几年而已，其兴也勃焉。
那么，大数据是否会像很多曾经火热现在已难觅踪迹的流行概念一样，将来某日，人们静心抬眼，发现风已去而水波不兴，徒留夕阳下波光粼粼的涟漪，让人不禁哀叹其亡也忽焉？
本书的背景
...
分类：
其他好文 时间：
2014-09-16 10:48:10
阅读次数：
284
首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访...
分类：
其他好文 时间：
2014-09-10 17:58:21
阅读次数：
195
HBase和Solr可以通过协处理器Coprocessor的方式向Solr发出请求，Solr对于接收到的数据可以做相关的同步：增、删、改索引的操作，这样就可以同时使用HBase存储量大和Solr检索性能高的优点了，更何况HBase和Solr都可以集群。这对海量数据存储、检索提供了一种方式，将存储与索...
分类：
其他好文 时间：
2014-08-21 21:05:04
阅读次数：
295
