1、官网下载地址：https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxC ...
分类：
其他好文 时间：
2020-07-17 22:02:27
阅读次数：
140
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
执行报错如下： 20/07/15 14:02:34 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/ ...
分类：
数据库 时间：
2020-07-15 15:29:36
阅读次数：
88
上图为要发送的内容存为xls格式 第一列是邮箱第二列是邮件定制内容 场景是批量发送运单号 第二列是伪装的运单号 参考https://blog.csdn.net/LeoPhilo/article/details/89074232博客教你怎么发一封邮件这里改装成发多封邮件 代码如下 #!/usr/bin ...
分类：
编程语言 时间：
2020-07-14 18:04:36
阅读次数：
96
蚂蚁森林案例背景说明 原始数据样例 user_low_carbon.txt 记录用户每天的蚂蚁森林低碳生活领取的流水 数据样例 u_001 2017/1/1 10 u_001 2017/1/2 150 u_001 2017/1/2 110 plant_carbon.txt 记录申领环保植物所需要减少 ...
分类：
其他好文 时间：
2020-07-14 00:35:41
阅读次数：
817
一、概述 将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到 错误原因是底层分割符引用错误， 二、解决方法 从https://github.com/apache/parquet-m ...
分类：
其他好文 时间：
2020-07-13 21:24:30
阅读次数：
75
Hive是个啥？ 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据，避免MapReduce程序分析数据 2.数据存储在HDFS上，不是HIVE上 3.Hive将数据映射成数据库和一张张表，库和表的元数据信息一般存在关系型数据库。 元数据：描述数 ...
分类：
其他好文 时间：
2020-07-13 12:07:13
阅读次数：
73
CDH中hive报端口被占用，经排查并进行以下操作后恢复正常。 通过查看hive日志可用发现10000端口已经被占用，通过命令行可用查找出被占用端口的相应进程；将被占用端口的进程删掉（kill 187393）后，重启hive即恢复正常 ...
分类：
其他好文 时间：
2020-07-13 11:17:25
阅读次数：
62
容器是一种清理级、可移植、自包含的软件打包技术，使应用程序可以在几乎任何地方以相同的方式运行。 ...
分类：
其他好文 时间：
2020-07-13 09:43:45
阅读次数：
68
1. 非压缩 archive_command = 'cp %p /appdata/pgsql/pg_wal/%f && echo %f >> /appdata/pgsql/pg_wal/archive.list' restore_command = 'cp /appdata/pgsql/pg_wal ...
分类：
数据库 时间：
2020-07-11 10:04:36
阅读次数：
146
