Hive 时间转换 UNIX时间戳概念：因为UNIX时间戳只是一个秒数，一个UNIX时间戳在不同时区看来，时间是不同的。如UNIX时间戳0，在0时区看来是1970-01-01 00:00:00，在东八区看来是1970-01-01 08:00:00。 hive常用时间操作示例 -- 返回UNIX时间戳 ...
分类：
其他好文 时间：
2020-03-25 23:20:23
阅读次数：
85
hive 优化 1、需要计算的指标真的需要从数据仓库的公共明细自行汇总吗？2、真的需要扫描那么多的分区么？3、尽量不要使用 select * from table这样的方式4、输入文件不要是大量的小文件 group by引起的倾斜优化: R:group by引起的倾斜主要是输入数据行按照group ...
分类：
数据库 时间：
2020-03-25 19:41:04
阅读次数：
90
前言：在制作射频电路时，我们总是会对每一个射频电路绘制一个金属腔体图。一是起到电路外壳保护美观作用；二是能够充分接地屏蔽外加电磁干扰的问题。 一、绘制腔体图的视图 绘制电路腔体图，实质上就是绘制器件的六视图。通过六视图来表达目标腔体的全部信息。各基本投影面的展开方式：即保持正投影面不动，其余各面按箭 ...
分类：
其他好文 时间：
2020-03-25 13:23:21
阅读次数：
146
众所周知，我们在使用NSTimer或者CADisplayLink的时候，经常会导致引用它们的类不能正常释放，那是因为引用它们的类与它们之间产生了循环引用。看以下代码： self.timer = [NSTimer scheduledTimerWithTimeInterval:2.0 target:se ...
分类：
其他好文 时间：
2020-03-23 22:16:32
阅读次数：
95
一、环境准备 需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase 这里演示创建软连接的方式 ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jar ln -s ...
分类：
其他好文 时间：
2020-03-23 20:32:49
阅读次数：
79
1、准备环境 centos 6.5 apache-hive-3.1.2-bin.tar.gz 2、解压 tar zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3、环境变量 修改环境变量：vi /etc/profile ...
分类：
其他好文 时间：
2020-03-23 17:16:26
阅读次数：
76
同时打开两个个客户端窗口启动 hive，会产生 java.sql.SQLException 异常。 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unab ...
分类：
数据库 时间：
2020-03-22 23:56:39
阅读次数：
129
背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类：
其他好文 时间：
2020-03-21 00:07:30
阅读次数：
68
原文链接： https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C：cloudera(公司) D：distribute H：Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用 ...
分类：
其他好文 时间：
2020-03-21 00:07:13
阅读次数：
91
