MongoDB / ElasticSearch: 文档数据库一般用类JSON格式存储数据,存储的内容是文档型的 HBase: 按列存储数据的。最大特点是方便存储结构化和半结构化数据,方便做数据压缩,针对某一列或某几列的查询有非常大的I/O优势,适合于批量数据处理和即时查询。 Redis: 通过key ...
分类:
其他好文 时间:
2020-05-18 18:31:48
阅读次数:
59
原文地址:https://www.cnblogs.com/frankdeng/p/9310278.html 一、系统架构 注意:应该是每一个 RegionServer 就只有一个 HLog,而不是一个 Region 有一个 HLog。 从HBase的架构图上可以看出,HBase中的组件包括Clien ...
分类:
其他好文 时间:
2020-05-13 20:40:22
阅读次数:
84
如何在 matlab 和 excel间进行数据导入导出? excel-->matlab 数据读取: A = xlsread('Excel路径+Excel的名称','工作表名称') 例子: A = xlsread('创新班.xlsx','Sheet2') A = xlsread('创新班.xlsx', ...
分类:
其他好文 时间:
2020-05-13 16:36:06
阅读次数:
96
https://www.bilibili.com/video/av83930526/ https://blog.csdn.net/yuanbingze/article/details/51891222 ...
分类:
其他好文 时间:
2020-05-13 12:28:00
阅读次数:
56
前言: 本文详细介绍了 HBase QualifierFilter 过滤器 Java&Shell API 的使用,并贴出了相关示例代码以供参考。QualifierFilter 基于列名进行过滤,在工作中涉及到需要通过HBase 列名进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文: " ...
分类:
其他好文 时间:
2020-05-13 10:03:15
阅读次数:
61
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado ...
分类:
数据库 时间:
2020-05-10 17:31:37
阅读次数:
97
在弄清楚这个问题之前,我们先了解一下什么是分布式的CAP定理。 根据百度百科的定义,CAP定理又称CAP原则,指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),最多只能同时三个特性中的两个,三者不可 ...
分类:
其他好文 时间:
2020-05-10 12:35:44
阅读次数:
235
数据导入导出 1. 数据库的全部表 2. 导出表 ...
分类:
数据库 时间:
2020-05-10 01:31:37
阅读次数:
82
JDBC 以MySQL为例 读取 import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} /** * Author atgu ...
分类:
数据库 时间:
2020-05-09 23:21:09
阅读次数:
86
规划:nn1.hadoop nn2.hadoop s1.hadoop s2.hadoop ZK: nn1 nn2 s1journalnode: nn1 nn2 s1DataNode: nn1 nn2 s1 s2NodeManager: nn1 nn2 s1 s2NameNode: nn1 nn2Re ...
分类:
系统相关 时间:
2020-05-09 21:12:33
阅读次数:
83