一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星 ...
分类：
其他好文 时间：
2018-07-02 14:16:41
阅读次数：
452
分布式系统的一个优势就是动态可伸缩性，如果增删节点需要重启那肯定是不行的。后来研究了一下，发现的确是不需要重启的。以spark和hadoop为例：不用重启集群，直接在新增的节点上分别启动以下进程即可：一、hadoop增加datanode节点因为1.x版本和2.x版本有比较大的差异，我这里是以2.7为例。在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和log
分类：
其他好文 时间：
2018-07-02 12:34:16
阅读次数：
180
如果一个项目经历了快速发展，势必在业务发展背后留下了一个很无序，结构混乱的代码，无序而混乱的代码势必造成很大的bug修复及扩展成本。 说到搭建系统都在谈论高并发，大数据，而易于维护和可扩展性则被大部分人抛之脑后，增加最基础的面向对象思想和设计模式帮助我们组织好易于维护和阅读的代码。 不要好高骛远看一 ...
分类：
其他好文 时间：
2018-06-28 10:59:37
阅读次数：
168
参考：https://yq.aliyun.com/articles/176546 执行：hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name="default:cheat.20180501_superid_ua_analysis" ...
分类：
其他好文 时间：
2018-06-27 15:43:14
阅读次数：
127
demo为表的命名空间，user为表的名字you2个列族，一个为b。一个为o。 NAME 为列族名，Replication_SCOPE实现一个远程集群的复制。compression数据压缩的类型 Hbase支持的压缩返航是 hbase.toordir数据存储的位置 ...
分类：
其他好文 时间：
2018-06-25 22:52:22
阅读次数：
218
VMware Workstation的虚拟机可以使用主机物理硬盘、主机上的USB或并口、串口设备，作为虚拟机的企业版本VMware ESXi也可以使用主机USB或并口、串口设备，但默认情况下，ESXi并不能使用主机物理硬盘。VMware ESXi的虚拟机可以主机USB或并口、串口设备，也可以使用FC、SAS HBA接口卡或iSCSI连接的存储磁盘（裸磁盘分配给虚拟机），但默认情况下并不能直接使用E
分类：
其他好文 时间：
2018-06-19 16:11:03
阅读次数：
533
地址：https://www.eolinker.com Chrome: https://chrome.google.com/webstore/detail/eolinker/mdbgchaihbacjfjeikflfbelidihhmfn；Firefox：https://addons.mozilla ...
分类：
其他好文 时间：
2018-06-13 16:33:16
阅读次数：
190
总所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？ 第一，介绍系统级别的目录树。 一、0.94-cdh4.2.1版本 系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hba ...
分类：
其他好文 时间：
2018-06-09 18:52:39
阅读次数：
287
常见异常： ORA-14025：不能为实体化视图或实体化视图日志指定PARTITION ORA-14026：PARTITION和CLUSTER子句互相排斥 ORA-14027：仅可以指定一个PARTITION子句 ORA-14028：缺少AT或VALUES关键字 ORA-14029：GLOBAL分区 ...
分类：
数据库 时间：
2018-06-03 14:28:07
阅读次数：
359
如果 Confluence 提示没有 class 文件，你可能将你的 JDBC 驱动放置到了错误的文件夹。 如果你不能从你从 Confluence 中连接到 PostgreSQL ，并且这 2 个服务器分别在不同的机器上，可能是因为你 2 台机器上的防火墙阻止了你的连接，或者 pg_hba.conf ...
分类：
数据库 时间：
2018-06-02 11:36:10
阅读次数：
210
