个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读...
分类:
Web程序 时间:
2015-08-27 18:32:29
阅读次数:
302
1.kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据
Step 1: Download the code
Download the
0.8.2.0 release and un-tar it.
> tar -xzf kafka_2.10-0.8.2.0.tgz
> cd kafka_2.10-0.8.2.0
Ste...
分类:
其他好文 时间:
2015-08-16 12:23:45
阅读次数:
179
http://www.aboutyun.com/thread-6855-1-1.html个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那么Stor...
分类:
Web程序 时间:
2015-08-14 11:27:12
阅读次数:
220
做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” ? 1).数据采集 负责从各节点上实时采集数据,选用cloud...
分类:
Web程序 时间:
2015-07-27 21:13:48
阅读次数:
185
原文:http://zhuanlan.zhihu.com/donglaoshi/19962491 作者: 董飞 提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x 进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时...
分类:
其他好文 时间:
2015-07-13 15:29:12
阅读次数:
92
大数据架构hadoop摘要:Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。随着互联网、移动互联网和物联网的...
分类:
其他好文 时间:
2015-06-15 12:38:41
阅读次数:
176
随着AOP研究的深入,我们发现,核心概念变得极其重要,这些概念就是一幅图,指引我们在优化之路上越走越远!...
分类:
编程语言 时间:
2015-05-31 15:24:05
阅读次数:
200
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop –
董飞的回答,为了给大家有个铺垫,简单讲一...
分类:
其他好文 时间:
2015-05-18 11:02:19
阅读次数:
182
注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包,把所有的组件都放在一个包内了,免去了组件的下载过程和解决兼容问题,其实也可以自己下载的,不要受到影响。
另,转载请注明出处,谢谢
修改静态IP和hostname
在 /etc/sysconfig/network-scripts/ifcfg-eth0
配置IPADDR
地址
运行以下命...
分类:
其他好文 时间:
2015-03-15 09:27:51
阅读次数:
310
信息架构: 成本与架构度量 大数据对信息架构的影响 大数据架构: Oracle的大数据架构逻辑视图: 大数据开发流程 大数据的角色与功能 数据治理 案例:保险 大数据关联与分析 关联与分析 概念视图 数据流 希望您对大数据平台有帮助。 企业应用之性能实时度量系统演变 云计算参考架构几例 智能移动导游...
分类:
其他好文 时间:
2015-02-20 11:57:15
阅读次数:
473