数据层的存储一般如下： Data Source 数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。 可将O ...
分类：
其他好文 时间：
2019-10-22 13:07:13
阅读次数：
124
深度分析HBase架构 https://zhuanlan.zhihu.com/p/30414252 https://zhuanlan.zhihu.com/p/30414252 https://zhuanlan.zhihu.com/p/30414252 https://zhuanlan.zhihu.c ...
分类：
其他好文 时间：
2019-10-19 12:48:01
阅读次数：
75
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、集群管理等。 因为Kafka集群是把状态信息保存在Zooke ...
分类：
其他好文 时间：
2019-10-19 09:20:57
阅读次数：
76
创建hbase表 pwd/opt/open-tsdb/opentsdbenv COMPRESSION=NONE HBASE_HOME=/opt/cloudera/parcels/CDH ./src/create_table.sh创建metrice indicator pwd/opt/open-tsd ...
分类：
数据库 时间：
2019-10-18 19:22:43
阅读次数：
97
最近学习大数据Hadoop和hbase，但是奈何虚拟机速度更不上就想使用Windows下的eclipse链接Linux下的Hadoop等文件，但是使用Hadoop的控件可以连接好，而且也能链接hadoop的相关文件，但是到了hbase就会卡住不动，出现以下界面就一直不动。 经过修改别的虚拟机下的ho ...
分类：
系统相关 时间：
2019-10-16 23:26:04
阅读次数：
235
今天有空闲时间看一下HBASE的写入代码 MutiAction类，是一个action的container，包括get . put. delete。并且是根据region name分组的。其中核心的就是add方法，根据传进来的region name将action分组 接下来介绍AyncProcess类 ...
分类：
其他好文 时间：
2019-10-16 11:35:37
阅读次数：
86
datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" ...
分类：
其他好文 时间：
2019-10-15 10:05:37
阅读次数：
86
hbase 数据获取方式 hbase 数据排序怎么做？ 我觉得这个分两种情况，一是数据量比较少，业务上每次拉取所有的数据，可以在客户端做排序，二是数据比较多，需要分页，这种情况下客户端做显然不合适，因为要从服务器拉取所有数据，排序完成，获取某一页，剩余的数据全都不用，资源损耗比较严重，比较推荐做法是 ...
分类：
其他好文 时间：
2019-10-14 12:12:50
阅读次数：
78
1. HBase基本介绍 a. 介绍 Hbase是一个nosql的列式存储的数据库。实际来源于Google发表的论文bigtable。构建在hdfs基础之上。 b. Hbase的特点 2. Hbase和hadoop的关系 a. hdfs b. Hbase 总结：紧耦合关系，Hbase依赖于hdfs ...
分类：
其他好文 时间：
2019-10-14 01:39:31
阅读次数：
120
hive与hbase的联系与区别：共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。 他们的底层是要通过mapreduce分布式计算的，hbase、hive、pig底层都是这样的。但整体来说hadoop还是比较快的，因为它是进行海量数据存储和分布式计算，这 ...
分类：
其他好文 时间：
2019-10-10 22:26:21
阅读次数：
132
