## Hadoop常用操作 ### 1、Hadoop安装 略 ### 2、Hadoop配置 略 ### 3、Hadoop多目录配置 namenode和datanode节点下都可以进行多个目录的配置，但是意义不同。namenode的多目录配置是副本策略，保证数据可靠性，datanode多目录配置是对容... ...
分类：
其他好文 时间：
2018-09-16 15:57:20
阅读次数：
233
1.安装jdk 2.下载：hadoop.apache.org 解压缩hadoop-x.x.x 程序jar包：share/hadoop 3.配置文件：cd etc -> hadoop-env.sh : export JAVA_HOME 3.1 core-site.xml 3.2 hdfs-site.x ...
分类：
其他好文 时间：
2018-08-25 18:47:58
阅读次数：
117
解决方法： 将core-site.xml, hdfs-site.xml拷贝到oozie的hadoop配置目录/opt/local/oozie/conf/hadoop-conf ...
分类：
其他好文 时间：
2018-08-22 21:54:50
阅读次数：
214
打开$HADOOP_HOME/etc/hadoop/yarn-site.xml,增加以下配置(在此配置文件中尽量不要使用中文注释) 依次执行以下命令start-dfs.sh,start-yarn.sh.mr-jobhistory-daemon.sh start historyserver启动完毕后j ...
分类：
其他好文 时间：
2018-08-18 22:24:44
阅读次数：
423
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history ...
分类：
其他好文 时间：
2018-08-18 21:45:49
阅读次数：
216
一.修改配置文件(hadoop目录/etc/hadoop/配置文件) 1.修改hadoop-env.sh,指定JAVA_HOME 修改完毕后 2.修改core-site.xml 3.修改hdfs-site.xml 到这启动hadoop的基本配置已经完成了(配置完这些已经可以启动hadoop了),下面 ...
分类：
其他好文 时间：
2018-08-17 23:25:23
阅读次数：
863
Hadoop分布式集群环境搭建步骤如下实验环境：系统：win7内存：8G(因要开虚拟机，内存建议不低于8G)硬盘：建议固态虚拟机：VMware12Linux：Centos7jdk1.7.0_67hadoop-2.5.0.tar.gz1.安装VMware虚拟机环境2.安装Centos操作系统3.修改主机名配置网络4.配置ssh无密码登录5.上传jdk配置环境变量6.上传hadoop配置环境变量7.修
分类：
其他好文 时间：
2018-07-13 16:24:26
阅读次数：
223
Hadoop安装1、linux准备2、jdk准备，设置环境变量3、hadoop下载准备，解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map ...
分类：
其他好文 时间：
2018-07-13 00:05:34
阅读次数：
150
上篇： Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop，配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF ...
分类：
其他好文 时间：
2018-07-09 23:42:45
阅读次数：
393
下载安装包：http://archive.apache.org/dist/sqoop/1.4.6/ 查看本机java版本 上传 查看 解压 查看 命名 删除 由于下载的是apache下面的 需要源码编译 找到hadoop版本 找到200 配置环境变量 进入配置文件 操作hadoop 配置环境变量 配 ...
分类：
其他好文 时间：
2018-06-20 21:32:15
阅读次数：
161
