码迷,mamicode.com
首页 >  
搜索关键字:大数据 spark    ( 18881个结果
Java领域的IM解决方案
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。 Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本,目前建议使用3.6.4版本,这个版本是当前最新的版本,而且网上可以找到下载的源代码。 即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本,经过测试发现上一版本在视频支持,msn网关支持...
分类:编程语言   时间:2014-05-13 15:55:13    阅读次数:252
新型I/O架构引领存储之变(三)
超大规模数据中心TCO(总拥有成本)优化是另一个重要驱动因素。“横向扩展”的概念基本上是在一个集群中采用一系列统一的硬件元件,将应用负载分解成具有相同处理功能的子任务,然后在基础的硬件元件上执行这些功能。通过复制统一的硬件元素,即可为持续增加的应用负载如系统吞吐量、相关数据组大小等等几乎所有与基础设施资源扩展相关的方方面面提供支持。横向扩展的架构...
分类:其他好文   时间:2014-05-13 06:39:55    阅读次数:365
Spark on YARN--WordCount、TopK
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件,内容如下:import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ object HdfsWordCount {...
分类:其他好文   时间:2014-05-13 05:35:12    阅读次数:379
大数据时代的新BI系统架构发展趋势
商业智能(BI,Business Intelligence),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。本文分析了BI系统与大数据分析结合的趋势和软件架构方案。...
分类:其他好文   时间:2014-05-12 23:53:15    阅读次数:463
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。       1 ZooKeeper: Distributed Process Coordination        这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:其他好文   时间:2014-05-12 22:46:32    阅读次数:662
Thrift---more efficient transport protocol.
Thrift 是什么? Thrift源于大名鼎鼎的facebook之手,在2007年facebook提交Apache基金会将Thrift作为一个开源项目,对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性...
分类:其他好文   时间:2014-05-12 20:35:23    阅读次数:296
个人知识管理系统Version1.0开发记录(01)
架 构 描 述 01、数据层,数据源,有形资源入库,无形资源整理,对外搜索引擎,对内平台搜索,数据类型(文字、图片、声音、视频、组合),数据时空优化,数据安全方案(数据进站关卡,数据出战关卡),数据并发方案,大数据分...
分类:其他好文   时间:2014-05-12 05:14:11    阅读次数:413
MapReduce入门实例
Hadoop集群(第9期)_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数.....
分类:其他好文   时间:2014-05-11 16:02:24    阅读次数:538
字节对齐与结构体大小
#pragma pack (n) /*指定按n字节对齐*/   不写这句默认n =8 设真正的对齐长度为m字节 如果n>结构体中数据类型(包括类类型)长度最大的数据类型长度,m = 结构体中最大数据类型长度 否则 m = n 总之,真正的对齐长度m为指定对齐长度n与结构体中最大类型长度中的较小值。 规则: 1. 结构体变量的首地址能够被m所整除; 2. 结构体每个...
分类:其他好文   时间:2014-05-11 13:32:36    阅读次数:299
Spark0.9 安装
1、下载Scala     wget  http://www.scala-lang.org/files/archive/scala-2.10.3.tgz    tar xvzf scala-2.10.3.tgz -C /usr/local 2、下载Spark    wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类:其他好文   时间:2014-05-11 02:06:21    阅读次数:368
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!