Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类:
数据库 时间:
2014-05-12 11:45:03
阅读次数:
457
手游 mmo游戏源码(完整服务端源码+资源+完整客户端)
开源分布式游戏服务端引擎kbengine。包含例子: unity3d, html5, ogre, cocos2d
分类:
其他好文 时间:
2014-05-12 11:41:57
阅读次数:
292
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
1 Lambda架构介绍
Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类:
其他好文 时间:
2014-05-11 07:29:44
阅读次数:
419
友情提示:非原文链接可能会影响您的阅读体验,欢迎查看原文。(http://blog.geekcome.com)原文地址:http://blog.geekcome.com/archives/284在上一篇中介绍了Cobar和客户端初次建立连接的过程,Cobar监听端口,客户端发起连接请求,Cobar发送握手数据包,客户端发送认证数据包最后根据认证的结果Cobar向客户端发送认证结果。在认证成功后Co...
分类:
数据库 时间:
2014-05-11 04:16:25
阅读次数:
415
HFileV2文件
HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。
文件格式通过hfile.format.version配置。默认为2,也只有2这个值在0.96可用。
可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding,
可配置值:NONE,PREFIX,DIFF,FAST_DIFF,PREF...
分类:
其他好文 时间:
2014-05-11 02:57:42
阅读次数:
589
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类:
其他好文 时间:
2014-05-11 01:07:23
阅读次数:
298
mysql集群架构方式很多,根据不同的需求做不一样的架构,简单一点的就是mysql的replication,也就是Mysql的复制功能,模式有:master-slaves,master-slaves-slaves,master-master-slaves等可以有多个分层,那么现在我所要说的是mast...
分类:
数据库 时间:
2014-05-10 23:30:36
阅读次数:
553
首先,来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类:
移动开发 时间:
2014-05-10 22:39:32
阅读次数:
656