码迷,mamicode.com
首页 >  
搜索关键字:大数据架构    ( 112个结果
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读...
分类:Web程序   时间:2015-08-27 18:32:29    阅读次数:302
【大数据架构】3. kafka安装与使用
1.kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据 Step 1: Download the code Download the 0.8.2.0 release and un-tar it. > tar -xzf kafka_2.10-0.8.2.0.tgz > cd kafka_2.10-0.8.2.0 Ste...
分类:其他好文   时间:2015-08-16 12:23:45    阅读次数:179
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
http://www.aboutyun.com/thread-6855-1-1.html个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那么Stor...
分类:Web程序   时间:2015-08-14 11:27:12    阅读次数:220
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” ? 1).数据采集 负责从各节点上实时采集数据,选用cloud...
分类:Web程序   时间:2015-07-27 21:13:48    阅读次数:185
后Hadoop时代的大数据架构(转)
原文:http://zhuanlan.zhihu.com/donglaoshi/19962491 作者: 董飞 提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x 进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时...
分类:其他好文   时间:2015-07-13 15:29:12    阅读次数:92
大数据架构hadoop
大数据架构hadoop摘要:Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。随着互联网、移动互联网和物联网的...
分类:其他好文   时间:2015-06-15 12:38:41    阅读次数:176
java架构解密——深入再造AOP
随着AOP研究的深入,我们发现,核心概念变得极其重要,这些概念就是一幅图,指引我们在优化之路上越走越远!...
分类:编程语言   时间:2015-05-31 15:24:05    阅读次数:200
后Hadoop时代的大数据架构
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop – 董飞的回答,为了给大家有个铺垫,简单讲一...
分类:其他好文   时间:2015-05-18 11:02:19    阅读次数:182
Hadoop 配置及hadoop HA 的配置
注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包,把所有的组件都放在一个包内了,免去了组件的下载过程和解决兼容问题,其实也可以自己下载的,不要受到影响。 另,转载请注明出处,谢谢 修改静态IP和hostname 在 /etc/sysconfig/network-scripts/ifcfg-eth0 配置IPADDR 地址 运行以下命...
分类:其他好文   时间:2015-03-15 09:27:51    阅读次数:310
企业信息管理与大数据
信息架构: 成本与架构度量 大数据对信息架构的影响 大数据架构: Oracle的大数据架构逻辑视图: 大数据开发流程 大数据的角色与功能 数据治理 案例:保险 大数据关联与分析 关联与分析 概念视图 数据流 希望您对大数据平台有帮助。 企业应用之性能实时度量系统演变 云计算参考架构几例 智能移动导游...
分类:其他好文   时间:2015-02-20 11:57:15    阅读次数:473
112条   上一页 1 ... 7 8 9 10 11 12 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!