1、安装datax3.0 http://datax opensource.oss cn hangzhou.aliyuncs.com/datax.tar.gz 2、部署主机 主机：node2 路径：/data1/xinsrv/datax JDK：1.8 Python：2.6 3、下载alihbase ...
分类：
其他好文 时间：
2020-01-08 19:28:15
阅读次数：
142
不管是在网站开发还是在应用程序开发中，我们经常会碰到需要将MySQL或MS SQLServer某个表的数据批量导入到另一个表的情况，甚至有时还需要指定导入字段。 本文就将以MySQL数据库为例，介绍如何通过SQL命令行将某个表的所有数据或指定字段的数据，导入到目标表 中。此方法对于SQLServer ...
分类：
数据库 时间：
2020-01-07 14:39:08
阅读次数：
128
今天公司需要把外部文本的一些数据导入到数据库。这里把相关步骤和注意的地方记录，供需要的人参考学习！这里的环境是在windows下的数据库，linux或者其他数据库同理！ 1、准备工作：创建需要导入数据的表结构，如果已有相关的表，此步省略！ SQL> create table test 2 ( 3 h ...
分类：
数据库 时间：
2020-01-06 23:14:10
阅读次数：
145
Minor Compact Minor Compact是指少量HFile文件按照Minor Compact规则进行合并；它的正常流程是这样的，探测到有新的文件刷进来（比如因为memstore的flush，当然可以直接写入HFile而跳过memstore，比如Bulk写入），此时Region Serv ...
分类：
其他好文 时间：
2020-01-05 12:14:28
阅读次数：
181
1.zookeeper是什么？zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是googlechubby的开源实现，是hadoop和hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。2.zookeeper都有哪些功能？集群管理：监控节点存活状态、运行请求等。主节点选举：主节点挂掉了之后可以从备用的节点开始新
分类：
其他好文 时间：
2020-01-05 09:44:00
阅读次数：
83
为什么要选择列式存储 行式存储和列式存储主要是在物理存储的选择上面，这里主要是选择从实体的完整性角度进行存储，还是从实体特征维度进行存储，行式存储就是以实体为单位进行存储，在物理存储上，一个实体（的特征属性）紧挨着另外一个实体；列式存储就是从实体特征维度进行存储，通常是以列为物理存储单元，这种存储模 ...
分类：
其他好文 时间：
2020-01-05 09:37:15
阅读次数：
76
一.说明 将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用，在此场景中需要将mysql导出的avro数据格式转化为json入库HBase 二.开拔 Ⅰ).配置ExecuteSQLRecord a).选择ExecuteSQLRecord b).配置ExecuteSQLRecor ...
分类：
数据库 时间：
2020-01-04 18:52:42
阅读次数：
223
一.说明 在大数据平台的业务场景中，处理实时kafka数据流数据，以成为必要的能力；此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 a).选择ConsumeKafka_0_10 b).配置ConsumeKaf ...
分类：
Web程序 时间：
2020-01-04 18:52:05
阅读次数：
238
一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系 ...
分类：
其他好文 时间：
2020-01-04 12:52:32
阅读次数：
105
启动顺序 Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase 停止顺序 Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer 启动和停止ZK /home/zookeeper-3.4.6/bin/zkServer ...
分类：
其他好文 时间：
2020-01-03 23:06:57
阅读次数：
157
