由于把hadoop的以下配置项 <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 改为 <property> <name>fs.defaultFS</name> <value>h ...
分类：
其他好文 时间：
2019-12-20 20:56:44
阅读次数：
92
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下（IP地址与之前文章有变动）： 2、官网下载安装包：spark-2.4.4-bin-hadoop2.7.tgz（推荐去清华大学或中科大的开源镜像站）。 3、spark将部署在三台都已存在的路径/myda ...
分类：
其他好文 时间：
2019-12-20 15:28:51
阅读次数：
130
Zookeeper是什么 官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来： 解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 上面的解释有点抽象，简单来说zooke ...
分类：
其他好文 时间：
2019-12-20 11:55:57
阅读次数：
92
Windows平台安装配置Hadoop 步骤： 1. JDK安装2. 下载hadoop2.5.2.tar.gz，自行去百度下载。 3. 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】https://github.com/steveloug ...
以两台节点为例来组件Hadoop分布式集群，这里采用的系统版本为Centos7，如下表所示： 主机名 内存 硬盘 IP地址 角色 master 8192MB 100G 192.168.200.131 Ambari-Server Ambari-Agent slave1 4096MB 100G 192. ...
分类：
其他好文 时间：
2019-12-20 01:16:58
阅读次数：
160
SQL on Hadoop 技术 | 备注 | Apache Hive | Cloudera Impala | Facebook Presto | Apache Drill | Spark SQL | Apache Phoenix | ...
分类：
数据库 时间：
2019-12-20 01:16:13
阅读次数：
124
1 概述 解决hadoop启动hdfs时，datanode无法启动的问题。错误为： 2 问题描述 执行start-dfs.sh后，根据打印日志，可以看到分别执行了NameNode、DataNode的操作。 但是执行jps查看启动结果时，返现DataNode并没有启动。 3 查找问题 很是费解，刚刚还 ...
分类：
编程语言 时间：
2019-12-19 21:14:13
阅读次数：
131
cat /etc/ecm/hadoop-conf/fair-scheduler.xml <?xml version="1.0"?> <allocations> <aclSubmitApps>*</aclSubmitApps> <weight>2</weight> <minResources>1000 ...
分类：
其他好文 时间：
2019-12-19 19:24:10
阅读次数：
109
与docker搭建hadoop不一样的是，本次采用Dockerfile的方式构建镜像，然后启动镜像，形成多主机多容器的方式启动Hadoop集群。 1.在各个宿主机上搭建网桥weave curl -L git.io/weave -o /usr/local/bin/weave weave launch ...
分类：
其他好文 时间：
2019-12-19 16:33:04
阅读次数：
98
继续上一篇hadoop的安装。一、安装zookooper1、解压zookoopertar-zxfvzookeeper-3.3.6.tar.gz2、修改配置：cpzookeeper/conf/zoo_sample.cfgzoo.cfgThenumberofmillisecondsofeachticktickTime=2000Thenumberofticksthattheinitialsynchron
分类：
其他好文 时间：
2019-12-18 11:07:30
阅读次数：
180
