Hive之累计报表生成 1.原始数据 u01 2019/1/21 5u02 2019/1/23 6u03 2019/1/22 8u04 2019/1/20 3u01 2019/1/23 6u01 2019/2/21 8u02 2019/1/23 6u01 2019/2/22 4 2.建表映射上述数据 ...
分类：
其他好文 时间：
2019-12-02 23:53:30
阅读次数：
216
安装hive，初始化数据库的时候报错 schematool -dbType mysql -initSchema Metastore Connection Driver : com.mysql.cj.jdbc.Driver Metastore connection User: hive org.apa ...
分类：
数据库 时间：
2019-12-02 22:01:28
阅读次数：
172
问题： 原因： sparksql生成的hive表有空文件，但是sparksql读取空文件的时候，因为表示orc格式的，导致sparksql解析orc文件出错。但是用hive却可以正常读取。 解决办法： 暂时不知道怎么解决，这里先记录一下，等找到方法再回来补充 ...
分类：
数据库 时间：
2019-12-02 16:36:57
阅读次数：
554
Hive安装部署与配置 1.1 Hive安装地址 1）Hive官网地址： http://hive.apache.org/ 2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址： http:// ...
分类：
其他好文 时间：
2019-12-02 14:00:32
阅读次数：
123
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
HBase的部署与其它相关组件（Hive Phoenix）的集成 一、HBase部署 1.1、Zookeeper正常部署 首先保证Zookeeper集群的正常部署，并启动之： /opt/module/zookeeper-3.4.5/bin/zkServer.sh start 1.2、Hadoop正常 ...
分类：
其他好文 时间：
2019-12-02 13:35:42
阅读次数：
136
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value></proper ...
分类：
其他好文 时间：
2019-12-01 20:35:16
阅读次数：
92
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表： 接下来就可以操作了。。。 一、将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。 再Hdfs上创 ...
分类：
数据库 时间：
2019-12-01 17:03:39
阅读次数：
118
Docker常见端口 我看到的常见docker端口包括： 2375：未加密的docker socket,远程root无密码访问主机2376：tls加密套接字,很可能这是您的CI服务器4243端口作为https 443端口的修改2377：群集模式套接字,适用于群集管理器,不适用于docker客户端50 ...
创建表: 如下的格式 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_nameLIKE existing_table_or_view_name[LOCATION hdfs_path]; 拷贝表结构，不拷贝表数据 ...
分类：
其他好文 时间：
2019-12-01 09:47:31
阅读次数：
100
