问题： 配置Hadoop集群时，一个节点的DataNode无法启动 排查： 查看hadoop-root-datanode-bigdata114.log文件，错误信息如下： java.io.IOException: Incompatible clusterIDs in /root/training/h ...
分类：
编程语言 时间：
2018-12-18 02:22:39
阅读次数：
250
Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。1.文档编写目的Gateway节点又称为客户端节点，通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置，脚本命令，比如HDFS的core-site.xml，hdfs-site.xml以
分类：
其他好文 时间：
2018-12-17 02:45:30
阅读次数：
212
中心思想，设置kerberos环境变量时，发现JDK源码当中的一个问题，故描述如下。 在平时的使用中，如果hadoop集群配置kerberos认证的话，使用java访问hdfs或者hive时，需要先进行认证登陆，之后才可以访问。登陆代码大致如下： 设置krb5.conf和core-site.xml、 ...
分类：
其他好文 时间：
2018-12-15 19:55:05
阅读次数：
344
在 Linux搭建集群 JDK配置 Linux搭建集群 SSH免密登陆 Linux搭建集群 集群搭建成功 的基础上实现workcount案例 注意 虚拟机三台启动集群（自己亲自搭建） 1. wordcount程序 1.1Hadoop集群测试WordCount程序 1.1.1 在hadoop目录下创建 ...
分类：
系统相关 时间：
2018-12-08 17:04:30
阅读次数：
305
运行 wordcount 案例： 一）：大数据（hadoop）初始化环境搭建 二）：大数据（hadoop）环境搭建 三）：运行wordcount案例 四）：揭秘HDFS 五）：揭秘MapReduce 六）：揭秘HBase 七）：HBase编程 Hadoop集群测试wordcount程序： 1）：在b ...
分类：
其他好文 时间：
2018-12-08 14:46:14
阅读次数：
253
一.首先我们需要一个 hadoop-2.8.5.tar.gz 这里就省略了什么解压，指定路径什么的步骤啦 1.配置hadoop环境变量 vim /etc/profile export HADOOP_HOME=/usr/java/hadoop-2.8.5 (按自己的路径来) export PATH=$ ...
分类：
其他好文 时间：
2018-12-06 18:03:50
阅读次数：
193
获取分布式文件系统 URI 对象是指向hadoop集群中的namenode 节点， 端口也是配置的 , user = “”ljs“” 用户 上传文件到hdfs文件系统 从hdfs文件系统下载文件 给hdfs文件系统创建目录s 删除某文件 给某个文件或目录改名字 ...
准备工作 开启全部三台虚拟机,确保hadoop100的机器已经配置完成 脚本 操作hadoop100 新建一个xsync的脚本文件,将下面的脚本复制进去 给xsync文件加可执行权限 将xsync拷贝到 /bin 目录下,以后可以随处使用 运行以下命令,根据提示输入密码,将文件进行拷贝(拷贝前,如果 ...
分类：
其他好文 时间：
2018-12-04 13:04:27
阅读次数：
209
场景： 预发环境中，同事已经搭建了一套hadoop集群，由于版本与所需不符，所以需要替换版本 问题描述： 在配置文件都准确的情况下，启动hadoop,出现以下报错： 启动之前初始化： 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop- ...
分类：
编程语言 时间：
2018-11-30 15:47:23
阅读次数：
349
当我们启动Hadoop集群的时候，发现有一台机器的nodemanager启动后自动关闭， 查看日志的时候发现有错误：yarn-root-nodemanager-log 解决办法： netstat anp |grep 端口号 如果有进程占用这个端口，kill -9 这个进程 重新启动即可 ...
分类：
其他好文 时间：
2018-11-29 23:16:20
阅读次数：
604
