spring boot 项目想要连接hive库的时候 需要导入两个jar包hadoop-common-2.5.1.jar和hive-jdbc-1.2.1 在导入的之后原来的项目启动报错具体如下 org.springframework.beans.factory.UnsatisfiedDependen ...
分类：
编程语言 时间：
2020-03-20 10:54:27
阅读次数：
222
1. scala 编程虽然类似于 python ,但也严格遵守Java的相关准则 .如导入类 , 依赖等 .并且可通用类库 . 其最好用的一点事对数据的类型转换更方便 结果是3600 , 转无数次也一样 ,虽然没必要 .但是在数据编程方面 , 会更方便. 这也是为什么Spark是用scala 开发. ...
分类：
其他好文 时间：
2020-03-20 09:13:28
阅读次数：
60
原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea ...
分类：
其他好文 时间：
2020-03-20 00:45:41
阅读次数：
69
Hbase官网下载地址：https://hbase.apache.org 本案例使用：hbase-2.1.9-bin.tar.gz 一、上传并解压安装包 1、将hbase-2.1.9-bin.tar.gz文件上传到/opt/softwares/文件夹 2、解压 tar -zxf /opt/softw ...
分类：
其他好文 时间：
2020-03-19 17:51:45
阅读次数：
58
轻松搞定zabbix监控hadoop、hbase以及zk
分类：
其他好文 时间：
2020-03-19 09:21:20
阅读次数：
121
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类：
其他好文 时间：
2020-03-18 11:45:06
阅读次数：
53
大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） ...
分类：
其他好文 时间：
2020-03-17 19:30:09
阅读次数：
49
YARN YARN是什么? YARN是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 如果没有YARN! 无法管理集群资源分配问题。 无法合理的给程序分配合理的资源。 不方便监控 ...
分类：
其他好文 时间：
2020-03-17 13:51:21
阅读次数：
82
