搭建Linux虚拟机 VMware虚拟机安装Linux 系统 1、首先打开网易开源镜像站: http://mirrors.163.com/ 当然，大家也可以使用阿里开源镜像站：http://mirrors.aliyun.com/ 2、点击进入centos目录。 3、因为我们选择安装centos6.5 ...
分类：
系统相关 时间：
2018-04-07 20:05:33
阅读次数：
171
一、准备工作 现在有3台机器，这里以centos6.8为例，以minimal方式安装 192.168.1.101 192.168.1.102 192.168.1.103 1、在3台节点上都先关闭防火墙 iptables –F chkconfig iptables off setenforce 0 编 ...
分类：
其他好文 时间：
2018-04-05 23:10:13
阅读次数：
221
一、CLI连接 进入到 bin 目录下，直接输入命令： [hadoop@hadoop3 ~]$ hiveSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadoop/ ...
分类：
其他好文 时间：
2018-04-04 14:54:26
阅读次数：
274
在CentOS上安装Hadoop集群（一） 1、 Centos的系统配置 1.1打开终端方式： 方式1:在桌面单击右键，>>Open in terminal 方式2:Applications菜单上选择System tools -> Terminal 打开了 1.2配置网络环境 查看ip地址命令：if ...
分类：
其他好文 时间：
2018-03-22 20:33:36
阅读次数：
178
本文描述如何通过ODI将Oracle表数据同步到Hive。1、准备工作在hadoop集群的各个节点分别安装OracleBigDataConnectors，具体的组件如下图所示：这里只需安装OracleLoaderForHadoop(oraloader)以及OracleSQLConnectorforHadoopDistributedFileSystem(oraosch)两个软件。安装比较简单，直接解
分类：
数据库 时间：
2018-03-19 15:26:47
阅读次数：
217
（1）、在虚拟机中设置静态主机IP ①、获取当前IP地址的网段②、子网掩码以及网关 ③、在虚拟机外部将其Ping通 （2）、修改主机名 临时修改 hostname 主机名称 永久修改 sudo vi /etc/sysconfig/network 文件 修改hostname属性 （权限不够时可以通过s ...
分类：
其他好文 时间：
2018-03-18 20:11:56
阅读次数：
274
一. 硬件、软件准备 1. 硬件设备 为了方便学习Hadoop，我采用了云服务器来配置Hadoop集群。集群使用三个节点，一个阿里云节点、一个腾讯云节点、一个华为云节点，其中阿里云和腾讯云都是通过使用学生优惠渠道购买了一年的云服务，华为云使用免费7天或15天的云服务器。我决定使用腾讯云节点作为Mas... ...
分类：
其他好文 时间：
2018-03-17 21:43:41
阅读次数：
394
Hadoop常用命令 启动HDFS集群 启动YARN集群 查看HDFS系统根目录 创建文件夹 级联创建文件夹 查看hsdf系统根目录下的所有文件包括子文件夹里面的文件 [hadoop@hadoop1 ~]$ hadoop fs -ls -R /aadrwxr-xr-x - hadoop superg ...
分类：
系统相关 时间：
2018-03-08 19:39:47
阅读次数：
263
分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构，主从节点 管理者和工作者 问题：如果主节点或是管理者宕机了。会出现什么问题？ 群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题： 当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单点故障。SPOF 单 ...
分类：
其他好文 时间：
2018-03-08 19:37:52
阅读次数：
206
概念了解 主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master ...
分类：
其他好文 时间：
2018-03-07 20:15:38
阅读次数：
237
