1.将hadoop安装包解压到windows系统 2.给eclipse配置hadoop插件 3.配置参数 4.将hadoop/conf下的两个相关配置文件(core-site.xml和mapred-site.xml)的ip全部由localhost变为虚拟机ip，如图 参考文章： https://bl ...
****几个配置方式：>>>MR程序>>>mapred-site.xml>>>hive命令行 1.Map端数据输出压缩set hive.exec.compress.intermediate = true;set mapreduce.map.output.compress = true;set map ...
分类：
其他好文 时间：
2018-11-09 20:52:23
阅读次数：
139
0. 说明 设置分区数量 && 编写自定义分区代码 1. 设置分区数量 分区(Partition) 分区决定了指定的 Key 进入到哪个 Reduce 中 默认 hash 分区，算法 设置分区数 2. 代码编写 在 [MapReduce_1] 运行 Word Count 示例程序 代码基础之上进行以 ...
分类：
其他好文 时间：
2018-11-06 13:32:24
阅读次数：
155
准备环境 CentOS 7 jdk1.8 (这里建议使用1.8版本的jdk 链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) hadoop-2.7.3.tar.gz （ 链 ...
分类：
其他好文 时间：
2018-11-05 20:09:38
阅读次数：
237
环境：CentOS7.5192.168.11.205test2192.168.11.206test3192.168.11.207test4-8g设置host#vim/etc/hosts192.168.11.205test2192.168.11.206test3192.168.11.207test4-8安装jdk(三个节点都需要)https://www.oracle.com/technetwork/
分类：
其他好文 时间：
2018-10-30 18:46:07
阅读次数：
155
1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容： hadoop-env.sh添加： yarn-env. ...
分类：
其他好文 时间：
2018-10-26 13:13:00
阅读次数：
198
namenode节点上配置Map/Reduce计算引擎跑在yarn这个资源调度平台上；<property><name>mapreduce.framework.name</name><value>yarn</value></property>namenode配置yarn-site.xml文件指定resourcemanager在m
分类：
其他好文 时间：
2018-10-09 17:06:08
阅读次数：
283
配置 修改 mapred site.xml 修改yarn site.xml 重启 yarn 启动 jobhistory server (配置在哪台，就在哪台机器启动) 停止 jobhistory server 参考资料 【0】Hadoop failed redirect for container ...
分类：
其他好文 时间：
2018-09-24 18:27:53
阅读次数：
224
使用oozie来调度操作，用shell的action执行命令，其中shell里包含着hive -e 操作执行时，oozie窗口报 这个异常，对应的在yarn的history里找到上面给出的job_id > job_1533108188813_12125 对应的日志，入下图 图中给出launch时候内 ...
分类：
系统相关 时间：
2018-09-20 12:28:28
阅读次数：
531
走上大数据的自学之路....，Hadoop是走上大数据开发学习之路的第一个门槛。 Hadoop，是Apache的一个开源项目，开发人员可以在不了解分布式底层细节，开发分布式程序，充分利用集群进行高速运算和存储海量数据。 核心：分布式存储系统HDFS（Hadoop Distributed File S ...
分类：
其他好文 时间：
2018-09-17 10:24:47
阅读次数：
119
