问题的过程如下： （1）前端向服务端请求往HBase插入1000条数据； （2）请求经路由网关Zuul传递给HBaseService，HBaseService执行插入操作； （3）插入操作需要的时间超过Zuul设定的阈值，Zuul判定HBaseService服务下线，报错并向前端返回请求超时信息； ...
分类：
其他好文 时间：
2019-06-29 14:50:34
阅读次数：
138
什么是HBase数据库 HBase是分布式、面向列族的开源数据库； HDFS为HBase提供可靠的底层数据存储服务； Zookeeper为HBase提供稳定服务和Failover机制； HBase是一个通过大量廉价机器解决海量数据的高速存储和读取的分布式数据库解决方案案。 HBase数据库有什么特点 ...
分类：
其他好文 时间：
2019-06-26 19:19:46
阅读次数：
123
描述记录连接组件刚开始用碰到一个问题，AB两个集合中都有相应记录，但是连接后却取不到B集合中该条数据字段。如下图所示：主表记录集合输出A次表记录集合输出B记录集连接输出你发现实际存在的记录取不到对应的值。解决方案在排除SQL问题后，我突然意识到了这个组件可能有些特殊，就点开tips看，一看就发现了问题所在：连个join的输入流一定要以关联key进行排序。
分类：
其他好文 时间：
2019-06-26 09:29:07
阅读次数：
641
一、基本概念 2.1 Row Key (行键) 2.2 Column Family（列族） 2.3 Column Qualifier (列限定符) &nbs ...
分类：
其他好文 时间：
2019-06-24 22:32:37
阅读次数：
117
TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类：
数据库 时间：
2019-06-23 23:03:59
阅读次数：
272
数据发生器产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） Flume 运行的核心是 Agent。Flu ...
分类：
其他好文 时间：
2019-06-21 12:42:20
阅读次数：
107
【问题描述】 我们可能会在数据库的错误日志里，发现这么一条信息: A time-out occurred while waiting for buffer latch -- type 4, bp 000000097BFDEDC0, page 1:19239, stat 0xc00009, datab ...
分类：
其他好文 时间：
2019-06-21 11:05:45
阅读次数：
117
在大量数据需要写入HBase时，通常有put方式和bulkLoad两种方式。 put不做解释。 BulkLoader方式的优势在于： 1、不会触发WAL预写日志，当表还没有数据时进行数据导入不会产生Flush和Split。 2、减少接口调用的消耗，是一种快速写入的优化方式。 但如果使用Spark操作 ...
分类：
其他好文 时间：
2019-06-18 19:47:25
阅读次数：
97
因为有个日常提数，工作日每天都要从数据库中提取数据，转换为excel,再以邮件的形式发给用户。 刚好近期同事在研究使用kettle自动提数且完成邮件的发送，觉得很实用又挺有意思的就学了一下这个技能~ 首先我们需要新建 转换 转换： 可以将数据从数据库中提取到excel中 然后我们如果想要定时提取数据 ...
分类：
数据库 时间：
2019-06-18 19:43:46
阅读次数：
150
1.Hue 概述及版本下载 1）概述 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行 ...
分类：
其他好文 时间：
2019-06-18 14:26:51
阅读次数：
159
