最近的工作是利用Hive做数据仓库的ETL转换，大致方式是将ETL转换逻辑写在一个hsql文件中，脚本当中都是简单的SQL语句，不包含判断、循环等存储过程中才有的写法，仅仅支持一些简单的变量替换，比如当前账期等。然后通过一个通用的shell脚本来执行hsql文件。该脚本是主要是调用了hive -f ...
分类：
移动开发 时间：
2020-05-04 19:41:21
阅读次数：
296
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， ...
分类：
其他好文 时间：
2020-05-03 12:43:20
阅读次数：
54
1.分桶之前要打开 hive.enforce.bucketiong=true; 2.分桶处理的对象必须是有,有效的列 , 比如我分了三个桶,针对id , 那么就是取id的hash值 , 然后分别放入三个不同之中 ,注意 不能指定数据存放在哪个桶 , 他自己会根据哪个列判断 , 你只需要保证传入的数据 ...
分类：
其他好文 时间：
2020-05-02 12:06:26
阅读次数：
61
1、virtualbox 网卡桥接 vim /etc/sysconfig/network-scripts/ifcfj-enp0s3 onBoot=yes 2、Centos7 3、JDK1.8 4、MobaXterm 5、hadoop2.4.1 6、Hive 0.13 7、Zookeeper3.4.5 ...
分类：
其他好文 时间：
2020-05-02 00:04:41
阅读次数：
51
Hive架构架构原理： 1.4.1 查询语言 由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的 查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 1.4.2 数据存储位置 Hive 是建立在 Hadoop 之上的，所有 H ...
分类：
其他好文 时间：
2020-05-01 16:26:49
阅读次数：
51
impala 虽然说查询速度比 hive 快很多，查询出来的数据格式也很漂亮，但是这些数据不能直接复制到excel中使用，十分不方便。 在这里有一个命令可以将查询数据直接导出到文件中。 impala-shell -q "SELECT * from dw_center.order limit 20 " ...
分类：
其他好文 时间：
2020-04-30 17:17:45
阅读次数：
169
对于数仓开发来说，写好一条SQL，需要熟读Hive 源码。 FilterPPD 会把可以下推的谓词抽取出来，存入OpWalkerInfo.opToPushdownPredMap.pushdownPreds 中 JoinPPD 的主要作用就是把能够下推的谓词和不能够下推的谓词分开，将不能够下推的谓词重 ...
分类：
其他好文 时间：
2020-04-30 13:49:07
阅读次数：
65
对于用windows的用户，新买的mac 和会windows系统有差异， 这篇文章可以帮助你快速入门使用mac https://www.cnblogs.com/TankXiao/archive/2013/01/05/2845413.html ...
分类：
系统相关 时间：
2020-04-29 20:12:31
阅读次数：
74
一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去 ...
分类：
其他好文 时间：
2020-04-29 10:59:03
阅读次数：
65
【确保服务器集群安装和配置已经完成！】前言请根据读者的自身情况，进行相应随机应变。我的三台CentOS7服务器：主机：master（192.168.56.110）从机：slave0（192.168.56.111）从机：slave1（192.168.56.112）每一个节点的安装与配置是相同的，在实际 ...
分类：
其他好文 时间：
2020-04-29 01:28:44
阅读次数：
138
