1 创建表 hive命令行操作 2 造数据 shanxi.txt hunan.txt 3 导入数据 hive命令行操作 4 查询hive数据 hive表结构 hive> describe extended emp; 查询hive分区数据 hive> select * from emp where p ...
分类：
数据库 时间：
2019-02-22 18:30:52
阅读次数：
202
1、配置源和目标的数据连接源（oracle）：目标（Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-common-2.1.... ...
分类：
数据库 时间：
2019-02-22 14:07:32
阅读次数：
391
ETL清洗数据 导Jar包 ETLUtil.java ETLMapper.java ETLDriver.java ...
分类：
其他好文 时间：
2019-02-22 00:53:51
阅读次数：
153
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
今天有一个需求需要将一份文档形式的hft与fdd的城市关系关系的数据导入到hive数仓中，之前没有在hue中进行这项操作(上家都是通过xshell登录堡垒机直接连服务器进行操作的)，特此记录一下。 ...
分类：
其他好文 时间：
2019-02-21 21:28:54
阅读次数：
486
1. hive 中 语句的执行顺序。 2. hive的 窗口函数 3. mysql 或hive 的sql优化方法，怎样可以显著提高执行效率。 4. sql中加索引要注意额事项。 5. 一张表：班级、姓名、成绩。查出每个班级中前3名对应的记录。 pandas的熟悉程度考察。 简历中，不用非常在意说 会 ...
分类：
其他好文 时间：
2019-02-21 14:17:26
阅读次数：
148
Sqoop: 1、sqoop从数据库中导入数据到HDFS 2、SQOOP从数据库导入数据到hive 3、sqoop从hive中将数据导出到数据库 sqoop底层还是执行的mapreduce程序，，但是特殊的地方只有map TASK 可以实现：企业级数据仓库、文档型系统、关系型数据库<--> sqoo ...
分类：
其他好文 时间：
2019-02-21 12:27:51
阅读次数：
301
2019/2/21星期四hive高级操作（优化，数据倾斜优化）分区表/桶表应用，skew，map-join//见hive的基本语法行列转换hive优化hive优化思想Explain的使用经典案例(distinctcount)数据倾斜的原因操作：关键词情形后果1、Join其中一个表较小，但是key集中分发到某一个或几个Reduce上的数据远高于平均值；2、大表与大表，但是分桶的判断字段0值或空值过多
分类：
其他好文 时间：
2019-02-21 10:59:46
阅读次数：
205
2019/2/20星期三hive的基本语法汇总（hql）——————————————————————————————————————————————Hive学习3：Hive三种建表语句详解https://blog.csdn.net/qq_36743482/article/details/78383964Hive建表方式共有三种：1、直接建表法例如：createtabletable_name(col
分类：
其他好文 时间：
2019-02-21 09:44:39
阅读次数：
320
控制菜单项的第一级的下级菜单项的大小： 直接通过(ContextMenuStrip对象).AutoSize = false、(ContextMenuStrip对象).Size = new Size(50,50)就可以控制大小。 控制菜单项的第二级或多级的下级菜单项的大小： 通过(ToolStripM ...
