码迷,mamicode.com
首页 >  
搜索关键字:pig hadoop    ( 14402个结果
修改HDFS块大小
环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf...
分类:其他好文   时间:2014-05-06 08:59:21    阅读次数:368
secondary namenode和namenode分离
namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:其他好文   时间:2014-05-06 01:08:13    阅读次数:388
Hadoop集群实施成功后,再次格式化名称节点
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8...
分类:其他好文   时间:2014-05-06 00:52:59    阅读次数:491
怎样控制namenode检查点发生的频率
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period 1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:其他好文   时间:2014-05-06 00:26:48    阅读次数:429
Pig安装
Pig安装
分类:其他好文   时间:2014-05-05 21:59:14    阅读次数:156
Hadoop初学指南(5)--MapReduce入门
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:其他好文   时间:2014-05-03 01:53:48    阅读次数:519
Hadoop初学指南(6)--MapReduce的简单实例及分析
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:其他好文   时间:2014-05-03 01:51:40    阅读次数:382
Ubuntu14下Hadoop开发<1> 基础环境安装
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类:其他好文   时间:2014-05-02 19:56:21    阅读次数:367
通过secondary namenode恢复崩溃的namenode
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:其他好文   时间:2014-05-02 14:44:28    阅读次数:517
Pig安装及本地模式实战
Pig是Apache的一个开源项目,用于简化MapReduce的开发,实质Pig将转化为MapReduce作业,使开发人员更多专注数据而不是执行的本质,是不懂java人员的福利。Pig由以下两部分组成:1、表达数据流的语言,成为PigLatin。2、运行PigLatin程序的执行环境。目前有两种环境:在单个JVM..
分类:其他好文   时间:2014-05-02 07:52:55    阅读次数:591
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!