failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0 场景是写入hbase： 当取出的line._1做为key ...
分类：
编程语言 时间：
2019-09-30 18:21:35
阅读次数：
101
Pinpoint接入业务监控后数据量大涨，平均每周Hbase数据增量25G左右，数据量太大，需要对数据进行定期清理，否则监控可用性降低。 操作步骤 查找出数据大的hbase表 [root@iZ28ovlz7ccZ worker]# du -sh hbase/data/default/* 2.2M h ...
分类：
其他好文 时间：
2019-09-30 14:37:17
阅读次数：
115
基于Docker搭建大数据集群（七）Hbase搭建 一、安装包准备 "Hbase官网下载" ) "微云下载 | 在 tar 目录下" 二、版本兼容 三、角色分配 节点|Master|Regionserver | | cluster master|yes|no cluster slave1|backu ...
分类：
其他好文 时间：
2019-09-30 12:47:55
阅读次数：
103
下载hbase-2.2.1-bin.tar.gz并执行安装命令： 查看安装目录： 进入安装目录下conf，编辑hbase-env.sh、hbase-site、regionservers文件： hbase-env.sh文件 hbase-site文件： 注：我们测试环境里用的是HBase 2.2.1, ...
分类：
其他好文 时间：
2019-09-29 09:58:42
阅读次数：
96
1 Redis-Cluster简介 1.1 什么是Redis-Cluster 为何要搭建Redis集群。Redis是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着Redis不适合存储大数据，适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发 ...
分类：
其他好文 时间：
2019-09-28 14:49:51
阅读次数：
86
动态数据连接，使JOB得以复用 移动执法系统在目前的主要的部署策略为1+N的方式，即总队部署一套，地市各部署一套，且基本都在环保专网。各地市的业务数据需要推送到总队系统，以便总队系统做整体的监督、决策。在整个数据对接过程中，基于Kettle开发的各地市对接省厅的ETL程序，除了数据链接信息不同之外， ...
分类：
其他好文 时间：
2019-09-28 00:54:03
阅读次数：
113
zookeeper与hbase分布式搭建 zookeeper集群 1.zookeeper，故名思意，就是动物园管理员的意思，Hadoop生态里面的东西基本上都是一些小动物的昵称，所以，就这么来了 这里接前篇的Hadoop分布式搭建，所有平台都搭建在/root/app目录下 （千万别学我用根用户弄，我 ...
分类：
其他好文 时间：
2019-09-25 22:51:55
阅读次数：
161
金融数据的来源：万得资讯、财汇、聚源，利用kettle工具和kettle脚本，将有用的数据传输到我们自己使用的数据库中。 如何测试kettle脚本。 一、背景业务知识 1、证券交易信息：投资者买卖证券的申报记录进入证券交易系统后汇总，并按照一定规则进行排序，形成申报数据库。投资者申报的内容经证券交易 ...
分类：
其他好文 时间：
2019-09-23 18:08:36
阅读次数：
310
HBase中JVM基本配置 在JVM中，默认情况下会设置minimum heap size 为 1/64 可用物理内存，并为maximum heap size设置 1/4 的物理可用内存（不过在Java8 之前，默认最大是1g）。当然，我们可以通过手动指定 JVM 参数，配置JVM的内存，例如： 在 ...
分类：
其他好文 时间：
2019-09-23 18:04:56
阅读次数：
129
1、基础配置 #配置主机名hostnamectl set-hostname {master, node1, node2} #配置hostscat <<EOF >> /etc/hosts192.168.2.124 master192.168.2.125 node1192.168.2.126 node2 ...
分类：
其他好文 时间：
2019-09-22 19:20:17
阅读次数：
97
