项目架构：日志数据---->flume----->kafka-------->sparkstreaming---------->mysql/redis/hbase前置条件：安装zookeeper安装flume安装kafakhadoop实现高可用(1)实现flume收集数据到kafka启动kafak：nohupkafka-server-start.sh\/applicatio
分类：
其他好文 时间：
2019-01-07 22:38:15
阅读次数：
171
宽表拆分 有一张user表,记录了用户的信息,,如果表中的列有很多,就称之为宽表,为了提升效率,会进行垂直拆分 拆分后 将用户的信息分为基本信息和其他信息,页面一开打就需要展示的信息为基本信息,其他信息例如订单,收货地址等等需要用户点击后才需要到的 高表拆分 表中如果有很多行,就称之为高表,为了提高 ...
分类：
数据库 时间：
2019-01-07 21:15:21
阅读次数：
254
@Test public void read() throws KettleException { KettleEnvironment.init(); TransMeta transMeta = new TransMeta(); transMeta.setName("datesyn2"); //添加 ...
分类：
其他好文 时间：
2019-01-07 20:55:47
阅读次数：
269
一. HBase的特点 1. 海量存储 Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。 2. 列式存储 这里的列式存储其实说的是列族存储 ...
分类：
其他好文 时间：
2019-01-07 20:48:22
阅读次数：
193
kettle运行时日志 最近新产品用到kettle，发现的相关文档很少，导致很遇到很小的一个问题也有点无从下手。 kettle实时日志 增加日志监听即可 KettleLogStore.getAppender().addLoggingEventListener(new KettleLoggingEve ...
分类：
其他好文 时间：
2019-01-07 17:28:37
阅读次数：
596
Hive与Hbase整合 1.文档 Hive HBase Integration ...
分类：
其他好文 时间：
2019-01-06 16:38:33
阅读次数：
174
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的?这里面涉及很多知识点，比如Region切分的触发条件是什么?Region切分的切分点在哪里?如何切分才能最大的保证Region的可用性?如何做好切分过程中的异常处理?切分过程中要不要将数据移动?等等，这篇文章将会对这些细节进行基本的说
分类：
其他好文 时间：
2019-01-04 22:39:35
阅读次数：
223
1.简介 HBase是一个基于HDFS的、分布式的、面向列的非关系型数据库。 HBase的特点 1.海量数据存储，HBase表中的数据能够容纳上百亿行*上百万列。 2.面向列的存储，数据在表中是按照列进行存储的，能够动态的增加列并对列进行各种操作。 3.准实时查询，HBase在海量的数据量下能够接近 ...
分类：
其他好文 时间：
2019-01-04 18:46:00
阅读次数：
170
1、转换创建时间 shell脚本 2、将查询出的数据导入txt 3、准备删除脚本 在del.sh头尾分别加上： 4、执行del.sh ...
分类：
其他好文 时间：
2019-01-04 17:59:25
阅读次数：
537
今天在安装kettle的时候出现了几个问题，在这里记录一下： kettle的安装： （1）去官网下载http://kettle.pentaho.org 对于kettle来说的话，解压即安装。下载解压zip包就可以。安装kettle需要配置jdk.对于jdk的配置这里不做赘述. 然后在windows环 ...
分类：
编程语言 时间：
2019-01-04 17:23:48
阅读次数：
572
