官方主页： http://www.centos.org/ 官方Wiki： http://wiki.centos.org/ 官方中文文档 ：http://wiki.centos.org/zh/Documentation 安装说明： http://www.centos.org/docs/ 1.环境准备： ...
分类：
其他好文 时间：
2018-11-29 15:02:16
阅读次数：
167
hadoop集群之Datenode无法启动解决办法 我们在启动hadoop集群的时候，通过jps查看进程，发现namenode RM和Secondary NameNode都有，但datanode没有启动，然后 datanode的启动日志如下 原因： 是多次format Namenode导致的Name ...
分类：
其他好文 时间：
2018-11-28 20:36:12
阅读次数：
279
不修内功，难成大器。为了将Apache Flink在阿里巴巴真正运行起来，阿里巴巴实时计算团队做了大量的优化，在阿里云上的产品正式命名为实时计算，以Flink SQL为主要API，致力于打造一款全球领先的实时计算引擎。
分类：
其他好文 时间：
2018-11-27 17:55:57
阅读次数：
198
最近在学习搭建hadoop集群环境，在搭建的过程中遇到很多问题，在这里做一些记录。1. SSH相关的问题 问题一: ssh: connect to host localhost port 22: Connection refused 问题二: 远程连接需要输入密码。 参照以下博客即可解决: Linu ...
分类：
其他好文 时间：
2018-11-25 20:32:47
阅读次数：
229
1.简介Hadoop是大数据通用处理平台，提供了分布式文件存储以及分布式离线并行计算，由于Hadoop的高拓展性，在使用Hadoop时通常以集群的方式运行，集群中的节点可达上千个，能够处理PB级的数据。Hadoop各个模块剖析：https://×××w.cnblogs.com/funyoung/p/9889719.html2.Hadoop集群架构图3.Hadoop集群搭建3.1修改配置1.配置SSH
分类：
其他好文 时间：
2018-11-23 18:27:13
阅读次数：
186
第3章 理解MapReduce 3.1 键值对 3.1.1 具体含义 3.1.2 为什么采用键/值数据 3.1.3 MapReduce作为一系列键/值变换 3.2 MapReduce的Hadoop Java API 3.3 编写MapReduce程序 3.4 实践环节：设置classpath 3.5... ...
分类：
其他好文 时间：
2018-11-23 16:46:59
阅读次数：
173
主要参考https://henning.kropponline.de/2014/11/21/install-httpfs-gateway-kerberized-cluster/ambari2.7安装的hadoop 集群，没有自带httpfs，需要在hadoop的配置目录下手动创建httpfs-sit ...
分类：
Web程序 时间：
2018-11-22 17:14:17
阅读次数：
413
一、前言 1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群 二、搭建Hadoop集群 1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来 2、清空 ...
分类：
其他好文 时间：
2018-11-21 11:01:35
阅读次数：
171
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.问题现象Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制...DataNode(ip-172-31-10-118)日志文件NameNode连接抑制...DataNode(ip-172-31-5-
分类：
其他好文 时间：
2018-11-20 19:29:18
阅读次数：
251
Hbase伪分布式（成功实施）hadoop集群正常，zookeeper集群正常 修改Hbase-env.sh的JAVA_HOME,改成绝对路径。 并修改export HBASE_MANAGES_ZK=false 修改环境变量HBASE_HOME 修改hbase-site.xml 添加 <proper ...
分类：
其他好文 时间：
2018-11-18 14:16:27
阅读次数：
167
