KV键值对存储大家都很熟悉了，Java 中的 map 都是在堆内存储，如果我们遇到一种情况是map特别大，每次GC我们不想释放这些空间，那么这一部分缓存数据又该如何处理呢？当然大家说可以使用第三方缓存组件：Redis，HBase，MongoDB，今天给大家多一种选择：堆外内存。 今天要给大家介绍的是 ...
分类：
编程语言 时间：
2020-01-27 15:53:23
阅读次数：
104
一、Hive的概述 1、Hive的定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL进行数据读取、写入和管理。 2、Hive的架构图 hive的各个组成部分介绍： 用户接口：包括 CLI、JDBC/ODBC、WebGUI。 元数据存储：通常是 ...
分类：
其他好文 时间：
2020-01-27 12:31:16
阅读次数：
82
今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
调度系统: 1. oozie: 和hadoop、hive、spark有很强的版本依赖 ...
分类：
其他好文 时间：
2020-01-26 22:31:20
阅读次数：
91
版本 HDP：3.0.1.0 HBase：2.0.0 一、前言 之前的文章也提到过，最近工作中需要对HBase进行二次开发（参照HBase的AES加密方法，为HBase增加SMS4数据加密类型）。研究了两天，终于将开发流程想清楚并搭建好了debug环境，所以就迫不及待地想写篇文章分享给大家。 <! ...
分类：
其他好文 时间：
2020-01-26 17:45:45
阅读次数：
85
1. 下载安装 官网下载链接 1.1 这里选择安装的是2.9.2，使用下面命令进行下载： 1 # cd ~/software 2 wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 1.2 ...
分类：
其他好文 时间：
2020-01-26 16:00:24
阅读次数：
128
我的hadoop 节点有两个， 两个cdhslave节点，一个master节点； cdh02,cdh03为slave节点，cdh01为master节点 ntp服务器和两个节点，两个节点的时间从master节点获取时间并进行同步。 在master节点 先检查有没有ntp fuwu安装 rpm -qa ...
分类：
其他好文 时间：
2020-01-26 14:41:22
阅读次数：
85
一. Hive基础概念 1.什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序。 1）Hiv ...
分类：
其他好文 时间：
2020-01-26 11:46:27
阅读次数：
96
os 就是operation system os.name Python 运行所在的环境: posix,nt,java os.environ os.walk() os.listdir() “list directories”，列出（当前）目录下的全部路径（及文件） os.mkdir() “make ...
分类：
编程语言 时间：
2020-01-25 23:29:18
阅读次数：
84
sqoop安装完毕后，还需要一些坑爹的配置，此处瑾纪录下过程以及遇到过的麻烦： 1.下载sqoop并加mysql驱动包 http://mirror.bit.edu.cn/apache/sqoop/,下载，如下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz， 将mysql（ ...
分类：
其他好文 时间：
2020-01-25 20:49:13
阅读次数：
103
