sqoop，将oracle数据传递到hive，可以直接将表数据覆盖传递，也可以按select传递，这里我用的是select查询的 脚本如下： 1、创建分区表，按c1分区 CREATE TABLE `xx.cc`( `c1` string) PARTITIONED BY(`c2` string); 2 ...
分类：
数据库 时间：
2020-03-27 14:25:12
阅读次数：
214
引言 今天的练习可以说是昨天的那个的反操作，今天要尝试将 文件的内容写入 文件中 所涉及到的库有 xls文件内容写入xml 操作 主要用到 和`xlwt xlrd excel xlwt excel`的库(就是上一篇用到的那个库)。 而今天的另一个主角 又是一个什么呢？ 指的是可扩展标记语言 ，和 类 ...
分类：
编程语言 时间：
2020-03-26 19:41:18
阅读次数：
70
有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 ...
分类：
其他好文 时间：
2020-03-26 13:56:37
阅读次数：
103
首先先简单介绍下hive： Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 核心架构： Hive官网地址 http:// ...
分类：
其他好文 时间：
2020-03-26 01:39:24
阅读次数：
93
Hive 时间转换 UNIX时间戳概念：因为UNIX时间戳只是一个秒数，一个UNIX时间戳在不同时区看来，时间是不同的。如UNIX时间戳0，在0时区看来是1970-01-01 00:00:00，在东八区看来是1970-01-01 08:00:00。 hive常用时间操作示例 -- 返回UNIX时间戳 ...
分类：
其他好文 时间：
2020-03-25 23:20:23
阅读次数：
85
hive 优化 1、需要计算的指标真的需要从数据仓库的公共明细自行汇总吗？2、真的需要扫描那么多的分区么？3、尽量不要使用 select * from table这样的方式4、输入文件不要是大量的小文件 group by引起的倾斜优化: R:group by引起的倾斜主要是输入数据行按照group ...
分类：
数据库 时间：
2020-03-25 19:41:04
阅读次数：
90
前言：在制作射频电路时，我们总是会对每一个射频电路绘制一个金属腔体图。一是起到电路外壳保护美观作用；二是能够充分接地屏蔽外加电磁干扰的问题。 一、绘制腔体图的视图 绘制电路腔体图，实质上就是绘制器件的六视图。通过六视图来表达目标腔体的全部信息。各基本投影面的展开方式：即保持正投影面不动，其余各面按箭 ...
分类：
其他好文 时间：
2020-03-25 13:23:21
阅读次数：
146
众所周知，我们在使用NSTimer或者CADisplayLink的时候，经常会导致引用它们的类不能正常释放，那是因为引用它们的类与它们之间产生了循环引用。看以下代码： self.timer = [NSTimer scheduledTimerWithTimeInterval:2.0 target:se ...
分类：
其他好文 时间：
2020-03-23 22:16:32
阅读次数：
95
一、环境准备 需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase 这里演示创建软连接的方式 ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jar ln -s ...
分类：
其他好文 时间：
2020-03-23 20:32:49
阅读次数：
79
1、准备环境 centos 6.5 apache-hive-3.1.2-bin.tar.gz 2、解压 tar zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3、环境变量 修改环境变量：vi /etc/profile ...
分类：
其他好文 时间：
2020-03-23 17:16:26
阅读次数：
76
