简介 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中，但是不能将hbase、hive的数 ...
分类：
其他好文 时间：
2019-07-20 23:17:41
阅读次数：
127
参考： Phoenix与HBase集成进行数据分析 HBase查询速度慢原因排查 在DBeaver中执行下列语句： 返回数目： 如下： 在DBeaver中执行下列语句： 返回如下信息： 如下： 直接通过Bash进行操作，执行下列语句： 耗时0.071s，返回如下信息： 执行下列语句： 耗时0.03s ...
分类：
其他好文 时间：
2019-07-17 20:37:54
阅读次数：
349
写于2016.7月 最近项目需要在hbase上做统计分析，在本机上装了hive，结果跑小批量数据sum时报错： 查看yarn日志，一样也是空指针异常，还有个提示是No plan file found: hdfs://... 查看hive源码，发现gWork为null，导致空指针异常 接着查看Util ...
分类：
编程语言 时间：
2019-07-15 17:36:26
阅读次数：
545
1.什么是DataX ? DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2. DataX的设计 为了解决异构数据源同步问题，DataX将复 ...
分类：
其他好文 时间：
2019-07-15 01:23:43
阅读次数：
555
前言 本文基于伪分布式搭建 hadoop+zookeeper+hbase+opentsdb之后，文章链接：https://www.cnblogs.com/yybrhr/p/11128149.html，对于Hbase数据备份和恢复的几种方法已经有很多大神说明了很多（https://www.cnblog ...
分类：
数据库 时间：
2019-07-10 18:36:04
阅读次数：
522
错误1：org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired 错误2：Reported time is too far out of sync with mast ...
分类：
其他好文 时间：
2019-07-10 16:44:02
阅读次数：
343
1.持久化的作用2.什么是持久化：redis所有数据保持在内存中，对数据的更新将异步地保存到磁盘上3.持久化的实现方式方式一：快照实现方式一：mysql dump实现方式二：redis RDB方式二：写日志实现方式一：mysql binlog实现方式二：hbase hlog实现方式三：redis A ...
分类：
其他好文 时间：
2019-07-05 13:00:58
阅读次数：
140
HBase 的扩展性好，并发的写入性能也很棒。 但是 HBase 实际上牺牲了其他的一些特性才达到了这种效果。 于是乎，像在 MySQL 中的一些常规操作对 HBase 可能就不是那么容易了。 我先罗列了几点可能的操作。 1. 分页 2. 聚合 3. 近一个月（年）的统计，这个是真的蛋疼，因为数据是 ...
分类：
其他好文 时间：
2019-07-05 00:11:22
阅读次数：
98
Google的三大马车Google fs + Map Reduce + Big Table 开源Java实现HDFS Hadoop Hbase 云盘实现用廉价的服务器提供与万级的数据库存储①廉价的服务器②多副本容灾③多核，并行计算，提高数据分析效率 ...
分类：
其他好文 时间：
2019-07-04 17:29:08
阅读次数：
109
参考： https://blog.csdn.net/dingyuanpu/article/details/52623655 https://www.cnblogs.com/feiyudemeng/p/9254046.html http://dequn.github.io/2016/11/08/pho ...
分类：
系统相关 时间：
2019-07-04 00:22:10
阅读次数：
174
