码迷,mamicode.com
首页 >  
搜索关键字:hadoop zookeeper    ( 18907个结果
MapReduce求最大值最小值问题
import java.io.File;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
分类:其他好文   时间:2014-06-18 20:12:01    阅读次数:254
zookeeper服务器端管理工具
zookeeper基本是基于API和console进行znode的操作,并没有一个比较方便的操作界面,这里也发现了taobao 伯岩写的一个工具,可以比较方便的查询zookeeper信息。工具的开发语言主要是node.js(最近比较火),其标榜的是无阻塞的api使用。其原理主要是基于google的V...
分类:其他好文   时间:2014-06-18 20:03:33    阅读次数:219
yarn介绍
hadoop 1.0 mapreduce过程主要问题:JobTracker 是 Map-reduce 的集中处理点,存在单点故障。JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracke...
分类:其他好文   时间:2014-06-18 20:00:19    阅读次数:377
zookeeper使用和原理探究(一)(转)
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按...
分类:其他好文   时间:2014-06-18 18:34:49    阅读次数:202
python 实现Hadoop的partitioner和二次排序
我们知道,一个典型的Map-Reduce过程包 括:Input->Map->Partition->Reduce->Output。Partition负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个很有用的partitioner类KeyFieldBa...
分类:编程语言   时间:2014-06-18 17:00:55    阅读次数:332
sqoop往hive中导入数据报找不到数据库错误
sqoop版本为1.4.4,hadoop版本为2.2.0,hive版本为0.11.0,hive元数据存放位置为mysql,当使用sqoop 从mysql往hive中导入数据时,总是提示找不到所指定的hive数据库,事实上hive中已存在该数据库,sqoop中也设置了hive路 径,/etc/pro....
分类:数据库   时间:2014-06-18 15:06:57    阅读次数:248
namenode未启动
1、问题:start-all.sh结果jps发现namenode没有启动,其它进程都启动2、查看日志,没有namenode生产的日志3、奇了,检查其它进程的日志,都在重新连接namenode Zzzzzzz.....4、记得虚拟机是直接关机的,未执行stop-all.sh5、删除tmp目录(metd...
分类:其他好文   时间:2014-06-18 13:49:33    阅读次数:252
storm项目实战开发 Storm视频教程下载
学习Storm视频教程需要具有:Java基础、Linux基础;学习Storm视频教程可以提升的技能(Storm除外):Zookeeper、Java、Linux 用到技术:Storm集群、Zookeeper集群等 涉及项目:网站PV、UV案例实战、其他案例 Storm视频教程 Storm入门教程-Storm流计算从入门到精通-技术篇,Storm视频教程全面、系统、深入讲解Storm,采用最新的稳定版本Storm 0.9.0.1 ;注重实践,对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批...
分类:其他好文   时间:2014-06-18 12:38:14    阅读次数:412
hadoop streaming 编程
概况Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程。一个最简单的程序$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar-input myInputDirs...
分类:其他好文   时间:2014-06-17 15:33:54    阅读次数:330
Hadoop 2.2.0 第一步
hadoop 2.2.0 环境配置
分类:其他好文   时间:2014-06-17 12:54:58    阅读次数:229
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!