1.列转行 select t.cust_id ,concat_ws(',',collect_list(group_id)) one_pace from (select 'A_001' cust_id ,'20191014' group_id union all select 'A_001' cust ...
分类：
其他好文 时间：
2019-10-15 16:15:24
阅读次数：
114
datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" ...
分类：
其他好文 时间：
2019-10-15 10:05:37
阅读次数：
86
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类：
数据库 时间：
2019-10-15 09:24:39
阅读次数：
112
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类：
数据库 时间：
2019-10-15 09:20:22
阅读次数：
115
笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写 MapReduce Job 做 ETL ，用 Hive 做 Ad hocquery，用 Tableau ...
分类：
其他好文 时间：
2019-10-14 12:15:22
阅读次数：
95
通过Ambari2.7.3安装HDP3.1.0成功之后，通过spark sql去查询hive表的数据发现竟然无法查询 HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据，准确来说是内表的数据。 原因hive 3.0之后默认开启ACID功能，而且新建的 ...
分类：
其他好文 时间：
2019-10-14 12:09:25
阅读次数：
144
Hive基础（一） 2018-12-19 15:35:03 人间怪物 阅读数 234 Hive基础（一） 2018-12-19 15:35:03 人间怪物 阅读数 234 Hive基础（一） Hive基础（一） 2018-12-19 15:35:03 人间怪物 阅读数 234 2018-12-19 ...
分类：
其他好文 时间：
2019-10-13 15:01:54
阅读次数：
79
说明：本机是在win10系统下，安装用的是VMware15，centOS7,JDK1.8,spark-2.4.0,hadoop-2.7.7,apache-hive-2.3.4,scala-2.12.8。在VMware里创建了node01,node02,node03,node04四个节点(或者叫四个虚拟机)。注意在使用vm14版本的时候出现黑屏，情况如下：在vm上安装好4个节点后，用管理员身份打开V
分类：
其他好文 时间：
2019-10-13 10:24:41
阅读次数：
97
转自 https://www.cnblogs.com/aDust/archive/2012/10/19/mysqldump.html 我项目的解决方案就是： 1、将mysqldump.exe复制放到我的项目文件夹下 2、执行备份时，先得到项目部署路径，然后执行 Runtime rt = Runtim ...
分类：
数据库 时间：
2019-10-11 18:41:50
阅读次数：
106
