码迷,mamicode.com
首页 >  
搜索关键字:分布式 hadoop 集群    ( 51515个结果
MongoDB简单操作
Hadoop核心技术厂商Cloudera将在2014/06推出hadoop Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类:数据库   时间:2014-05-12 11:45:03    阅读次数:457
手游 mmo游戏源码(完整服务端源码+资源+完整客户端)
手游 mmo游戏源码(完整服务端源码+资源+完整客户端) 开源分布式游戏服务端引擎kbengine。包含例子: unity3d, html5, ogre, cocos2d
分类:其他好文   时间:2014-05-12 11:41:57    阅读次数:292
python 实现Hadoop的partitioner和二次排序
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程 工作流程 :  InputFile --> mappers --> [Partitioner] --> reducers --> outputFiles 理解 :  1 输入文件,可以是指定远程文件系统内的文件夹下的 * 2 通过集群自己分解到各个PC...
分类:编程语言   时间:2014-05-11 14:46:35    阅读次数:519
Hadoop-2.2.0中文文档—— MapReduce 下一代 -- 公平调度器
目的 此文档描述了 FairScheduler, Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。 简介 公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。  Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:其他好文   时间:2014-05-11 13:05:57    阅读次数:393
大数据Lambda架构
1 Lambda架构介绍 Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。 query = function(alldata) 1.1 批处理层 批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类:其他好文   时间:2014-05-11 07:29:44    阅读次数:419
分布式数据库中间件–(3) Cobar对简单select命令的处理过程
友情提示:非原文链接可能会影响您的阅读体验,欢迎查看原文。(http://blog.geekcome.com)原文地址:http://blog.geekcome.com/archives/284在上一篇中介绍了Cobar和客户端初次建立连接的过程,Cobar监听端口,客户端发起连接请求,Cobar发送握手数据包,客户端发送认证数据包最后根据认证的结果Cobar向客户端发送认证结果。在认证成功后Co...
分类:数据库   时间:2014-05-11 04:16:25    阅读次数:415
hbase hfilev2
HFileV2文件 HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。 文件格式通过hfile.format.version配置。默认为2,也只有2这个值在0.96可用。 可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding, 可配置值:NONE,PREFIX,DIFF,FAST_DIFF,PREF...
分类:其他好文   时间:2014-05-11 02:57:42    阅读次数:589
Hadoop 学习资料集锦
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类:其他好文   时间:2014-05-11 01:07:23    阅读次数:298
mysql集群一:主从复制,通过mysql-proxy做负载均衡
mysql集群架构方式很多,根据不同的需求做不一样的架构,简单一点的就是mysql的replication,也就是Mysql的复制功能,模式有:master-slaves,master-slaves-slaves,master-master-slaves等可以有多个分层,那么现在我所要说的是mast...
分类:数据库   时间:2014-05-10 23:30:36    阅读次数:553
Samza在YARN上的启动过程 =》 之二 submitApplication
首先,来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass ClientHelper(conf: Configuration) extends Logging { val yarnClient = YarnClient.createYa....
分类:移动开发   时间:2014-05-10 22:39:32    阅读次数:656
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!