配置HBASE： 因为Hbase要依赖zookeeper集群和Hadoop集群，所以在配置hbase之前先确保已经配置zookeeper集群和Hadoop集群，这里不再详解zookeeper和hadoop，若没有配置可以跳转： zookeeper：https://www.cnblogs.com/do ...
分类：
其他好文 时间：
2018-10-16 01:43:12
阅读次数：
171
要想使用Hive先要有hadoop集群的支持，使用本地把元数据存储在mysql中。 mysql要可以远程连接： 可以设置user表，把localhost改为%，所有可连接。记住删除root其他用户，不然可能会有影响 update user set host='%' where host='local ...
分类：
数据库 时间：
2018-10-13 16:48:30
阅读次数：
192
一、hadoop下载 使用2.7.6版本，因为公司生产环境是这个版本 二、配置文件 参考文档：https://hadoop.apache.org/docs/r2.7.6 在$HADOOP_HOME/etc/hadoop目录下需要配置7个文件 1.core-site.xml <?xml version ...
分类：
其他好文 时间：
2018-10-13 02:41:37
阅读次数：
209
1、hadoop默认临时数据文件是存储于Unix的tmp目录下（cd/tmp包含hadoop-root等文件），如果不进行修改，linux系统重启后hadoop有可能出现不正常现象；故需要修改hadoop的临时文件存放目录2、vimcore-site.xml配置如下，然后重启hadoop集群，不要对namenode重新进行格式化操作修改datanode/var/hadoop/dfs/data/cu
分类：
编程语言 时间：
2018-10-09 16:15:03
阅读次数：
213
一，服务准备 本案例用Linux虚拟机服务器来搭建HADOOP集群，所用的软件版本： Vmware 11.0 Contos 6.5 64bit 二，JDK环境安装 上传JDK安装包 》解压到指定目录 》配置环境变量 三，网络环境准备 1，将虚拟机的网络环境设置为NAT 2，修改主机名：vi /etc ...
分类：
其他好文 时间：
2018-10-07 10:30:41
阅读次数：
188
Part1:查看Hadoop集群的基本信息,Part 2:上传文件到HDFS目录 ...
分类：
其他好文 时间：
2018-10-05 18:45:00
阅读次数：
213
在安装好 Hadoop 集群和 ZooKeeper 分布式的基础上装好 MySQL，再进行 Hive 的安装配置。 ...
分类：
其他好文 时间：
2018-10-01 22:36:06
阅读次数：
250
原文链接：https://juejin.im/post/59c3f8f75188255be81f91d9#heading-17 Apache Hive-2.3.0 快速搭建与使用 Hive 简介 Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于 ...
分类：
数据库 时间：
2018-09-30 00:23:51
阅读次数：
334
1 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 进入到Spark2.1.1的安装目录，命令是： 执行命令，用单 ...
分类：
其他好文 时间：
2018-09-28 15:24:33
阅读次数：
183
1、列出Hadoop集群的Hadoop守护进程和相关的角色。 Namenode：它运行上Master节点（主节点）上，负责存储的文件和目录所有元数据。它管理文件的块信息，以及块在集群中分布的信息。（管理文件系统的命名空间和客户端对文件的访问操作） Datanode：它是一个存储实际数据的Slave节 ...
分类：
其他好文 时间：
2018-09-17 16:20:36
阅读次数：
294
