原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea ...
分类：
其他好文 时间：
2020-03-20 00:45:41
阅读次数：
69
Hbase官网下载地址：https://hbase.apache.org 本案例使用：hbase-2.1.9-bin.tar.gz 一、上传并解压安装包 1、将hbase-2.1.9-bin.tar.gz文件上传到/opt/softwares/文件夹 2、解压 tar -zxf /opt/softw ...
分类：
其他好文 时间：
2020-03-19 17:51:45
阅读次数：
58
轻松搞定zabbix监控hadoop、hbase以及zk
分类：
其他好文 时间：
2020-03-19 09:21:20
阅读次数：
121
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
1、下载安装包 安装包下载地址： http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz 将安装包上传到node01服务器/kkb/soft路径下，并进行解压 cd /kkb/soft/ tar -zxvf hbase- ...
分类：
其他好文 时间：
2020-03-18 13:55:31
阅读次数：
70
条件准备： 表的操作： 创建表： 添加数据： 删除数据： 扫描全表： 条件扫描： ...
分类：
其他好文 时间：
2020-03-17 19:32:50
阅读次数：
45
什么是ClickHouse？ 毛子开源的一个列式存储数据库(DBMS), 主要用于OLAP, 能使用SQL查询实时生成分析数据报告。 可以类比HBase 数据类型 与其他框架比较 | MySQL | Hive | ClickHouse | | | | | | byte | TINYINT | Int ...
分类：
其他好文 时间：
2020-03-17 19:30:21
阅读次数：
51
大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） ...
分类：
其他好文 时间：
2020-03-17 19:30:09
阅读次数：
49
YARN YARN是什么? YARN是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 如果没有YARN! 无法管理集群资源分配问题。 无法合理的给程序分配合理的资源。 不方便监控 ...
分类：
其他好文 时间：
2020-03-17 13:51:21
阅读次数：
82
