kettle.properties 是一个变量文件，这个文件我使用的最多的地方是保存 “数据库连接” 用户名和密码。 如果不用这个文件，那么使用“数据库连接”时，需要硬编码写到文件里。 有一天dba告诉你，库迁移了，数据库用户密码换了/IP变了，那么需要一个文件一个文件的修改密码/IP。 如果使用k ...
分类：
其他好文 时间：
2019-06-10 13:25:28
阅读次数：
131
说道循环，小伙伴们肯定不陌生，就是重复干一件事；而kettle中的循环一般是发生在job中，因为job是串行执行的；kettle的循环有两种，一种是通过js脚本，另外一种是通过遍历前面步骤返回的每一行。下面是我写的伪代码，我将使用Kettle来实现这段代码：array = ['sys1','sys2... ...
分类：
其他好文 时间：
2019-06-07 10:47:14
阅读次数：
112
foton中因为hbase没有封装分页的方法，如果前端QUI要支持分页，代码为： ...
分类：
其他好文 时间：
2019-06-06 14:07:31
阅读次数：
78
es查询优化思路 尽可能的利用内存 1. 将尽可能的索引留在内存，即留更多的堆外内存给es 2. 不查询的字段尽量不要往es插入，节省索引的空间大小（es + hbase） 3. 数据预热 4. 冷热数据分离 文档字段设计 1. 根据查询场景设计字段，避免复杂查询，将字段抹平。 分页优化 1. 避免 ...
分类：
其他好文 时间：
2019-06-05 00:39:21
阅读次数：
71
kettle 学习 工具的安装 Navicat 连接mysql使用 网盘里有 如下图 连接名为数据库名 主机地址 用户名为mysql 数据库用户名 详细在有道云 PL/SQL 连接oracle使用 网盘里有 注意：PL/SQL 安装时如果本地没有安装oracle客户端，那么有很多问题要注意 详见：P ...
分类：
其他好文 时间：
2019-06-04 19:05:56
阅读次数：
108
HBase Shell 1、status 例如：显示服务器状态 2、whoami 显示HBase当前用户，例如： 3、list 显示当前所有的表 4、count 统计指定表的记录数，例如： 5、describe 展示表结构信息 6、exists 检查表是否存在，适用于表量特别多的情况 7、is_en ...
分类：
系统相关 时间：
2019-05-31 01:31:12
阅读次数：
128
BulkLoad加载文件到HBase表 1、功能 将本地数据导入到HBase中 2、原理 BulkLoad会将tsv/csv格式的文件编程hfile文件，然后再进行数据的导入，这样可以避免大量数据导入时造成的集群写入压力过大。 3、作用 4、案例 Step1、配置临时环境变量 $ export HB ...
分类：
其他好文 时间：
2019-05-31 01:24:35
阅读次数：
102
Base节点的管理 1、服役（commissioning） 当启动regionserver时，regionserver会向Hmaster注册并开始接收本地数据，开始的时候，新加入的节点不会有任何数据，平衡器开启的情况下，将会有新的region移动到开启的RegionServer上。如果启动和停止进程 ...
分类：
其他好文 时间：
2019-05-31 01:16:50
阅读次数：
139
好程序员大数据分享：Hbase精解，为什么有hbase?hbase是什么?Hbase的架构。 一、 为什么有hbase? 数据量越来越大，传统的关系型数据库不能满足存储和查询的需求。而hive虽然能满足存储的要求，但是hive不能满足非结构化、半结构化数据的存储和查询。 二、hbase是什么? hb ...
分类：
其他好文 时间：
2019-05-27 16:35:35
阅读次数：
109
在一个Kettle中，我发现一个平时正常跑的转换，突然不正常了。他增量查询没问题，但是到插入更新的那一步，所有数据都拒绝，而且报错看不出什么。经过排查，所有的写的步骤都是正确的，但是就是不进库。后来，我把所有的步骤重新新建，然后就可以了！！！再后来，我又遇到这种情况，然后把增量查询的sql重新复制，粘贴进去，再保存一下，也正常进库了。可能是kettle识别有问题把？？
分类：
其他好文 时间：
2019-05-27 11:50:17
阅读次数：
239
