spring boot 项目想要连接hive库的时候 需要导入两个jar包hadoop-common-2.5.1.jar和hive-jdbc-1.2.1 在导入的之后原来的项目启动报错具体如下 org.springframework.beans.factory.UnsatisfiedDependen ...
分类：
编程语言 时间：
2020-03-20 10:54:27
阅读次数：
222
原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea ...
分类：
其他好文 时间：
2020-03-20 00:45:41
阅读次数：
69
Hbase官网下载地址：https://hbase.apache.org 本案例使用：hbase-2.1.9-bin.tar.gz 一、上传并解压安装包 1、将hbase-2.1.9-bin.tar.gz文件上传到/opt/softwares/文件夹 2、解压 tar -zxf /opt/softw ...
分类：
其他好文 时间：
2020-03-19 17:51:45
阅读次数：
58
轻松搞定zabbix监控hadoop、hbase以及zk
分类：
其他好文 时间：
2020-03-19 09:21:20
阅读次数：
121
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
记录一下对CAP的理解，CAP理论是分布式系统的基本理论，已得到证明，分布式系统最多只能满足其中的两个。 CAP基本概念 CAP是三个特性关键字的简写。 （1）C：Consistency，一致性 （2）A：Availability，可用性 （3）P：Partition tolerance，分区容忍性 ...
分类：
其他好文 时间：
2020-03-17 19:52:18
阅读次数：
97
大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） ...
分类：
其他好文 时间：
2020-03-17 19:30:09
阅读次数：
49
YARN YARN是什么? YARN是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 如果没有YARN! 无法管理集群资源分配问题。 无法合理的给程序分配合理的资源。 不方便监控 ...
分类：
其他好文 时间：
2020-03-17 13:51:21
阅读次数：
82
1.下载hadoop官网就可以下载。可以直接搜hadoop ， 其实可以直接查看官网的版主文档搭建https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 2.解压包到/usr ...
分类：
其他好文 时间：
2020-03-16 14:54:04
阅读次数：
71
