一.简述如何安装配置apache的一个开源的hadoop使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.sh?core-site.xml?mapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格式化
分类：
其他好文 时间：
2018-08-28 19:00:26
阅读次数：
450
1、order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个 ...
分类：
编程语言 时间：
2018-08-28 11:33:20
阅读次数：
168
转自:http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用), mapred.map.task ...
分类：
其他好文 时间：
2018-08-27 18:13:04
阅读次数：
206
较为详细且重要的一段报错信息是org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space 说一下解决方案，其实这个解决过程完全是摸索着来的。 set map ...
分类：
数据库 时间：
2018-08-25 15:03:30
阅读次数：
328
cd ~ cd ./.ssh 在./ssh目录下生成公钥与私钥(如果没有.ssh先使用ssh命令连接到一台远程主机后退出就会生成./ssh) ssh-keygen -t rsa 接下来就是把公钥拷贝到需要远程连接的主机上 ssh-copy-id 主机名 之后执行ssh 主机就可以免密登录了,此外ss ...
分类：
其他好文 时间：
2018-08-19 19:02:52
阅读次数：
186
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history ...
分类：
其他好文 时间：
2018-08-18 21:45:49
阅读次数：
216
启动hdfs后执行share目录中自带的mapreduce程序时报如下错误 找到$HADOOP_HOME/etc/mapred-site.xml,增加以下配置 ...
分类：
移动开发 时间：
2018-08-18 17:54:11
阅读次数：
514
Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信（Ping）。如果不行检查下面 1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机） 1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法） 1.3虚拟机设置--网 ...
分类：
其他好文 时间：
2018-08-16 17:41:39
阅读次数：
205
在Hadoop的存储处理方面提供了两种不同的机制，一种是之前介绍过的Hbase，另外一种就是Hive，有关于Hbase，它是一种nosql数据库的一种，是一种数据库，基于分布式的列式存储，适合海量数据的操作，，底层依赖HDFS，与rdbms的区别和其他的nosql基本类似，例如不支持sql语句对于数 ...
分类：
其他好文 时间：
2018-08-14 14:58:41
阅读次数：
190
接着上一篇中安装hdfs后，直接在NameNode所在的服务器上安装JobTracker,而DataNode就是TaskTracker,所以只需要配置JobTracker就可以 找到NameNode所在的服务器上找到Hadoop对应的conf文件夹下，修改mapred-site.xml文件，添加Jo ...
分类：
其他好文 时间：
2018-08-05 18:06:07
阅读次数：
414
