原文链接： https://www.toutiao.com/i6771018203687551495/ Hive的连接 启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位 首先将Hive变成对外开放 启动hiveserver2 我们查看下 如果杀掉需要用kill -9 P ...
分类：
其他好文 时间：
2020-03-20 23:57:01
阅读次数：
114
HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam ...
分类：
其他好文 时间：
2020-03-20 19:52:48
阅读次数：
56
1、准备环境 centos 7.4 hadoop hadoop-3.2.1 （http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz） jdk 1.8.x 2、配置环境变量 命令：vi / ...
分类：
其他好文 时间：
2020-03-20 13:03:52
阅读次数：
80
HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理。HDFS只是分布式文件管理系统中的一种； HDFS是什么 HDFS是基于java的分布式文件系统，允许您 ...
分类：
其他好文 时间：
2020-03-20 13:01:13
阅读次数：
71
大数据伪分布式搭建 ***对于大数据这块相信大家对linux有一定的认识，所有对创建虚拟机那块就不给予详细的说明了。 基础环境的搭建 1.系统环境 平台:VMware Workstation pro 系统：centos 7 Hadoop版本： Apache Hadoop 3.0.0 本次实验是搭建一 ...
分类：
其他好文 时间：
2020-03-20 12:23:47
阅读次数：
56
spring boot 项目想要连接hive库的时候 需要导入两个jar包hadoop-common-2.5.1.jar和hive-jdbc-1.2.1 在导入的之后原来的项目启动报错具体如下 org.springframework.beans.factory.UnsatisfiedDependen ...
分类：
编程语言 时间：
2020-03-20 10:54:27
阅读次数：
222
原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea ...
分类：
其他好文 时间：
2020-03-20 00:45:41
阅读次数：
69
Hbase官网下载地址：https://hbase.apache.org 本案例使用：hbase-2.1.9-bin.tar.gz 一、上传并解压安装包 1、将hbase-2.1.9-bin.tar.gz文件上传到/opt/softwares/文件夹 2、解压 tar -zxf /opt/softw ...
分类：
其他好文 时间：
2020-03-19 17:51:45
阅读次数：
58
轻松搞定zabbix监控hadoop、hbase以及zk
分类：
其他好文 时间：
2020-03-19 09:21:20
阅读次数：
121
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
