hive -e ' use bd; set hive.exec.max.dynamic.partitions.pernode=100; set hive.exec.dynamici.partition=true; set hive.exec.dynamic.partition.mode=nonstr ...
分类：
其他好文 时间：
2020-04-16 22:38:02
阅读次数：
109
1.行转列（多行变一行，聚合） 表数据 select * from student; student.id student.name 4 fuqiang 5 minzhu 6 hexie collect_set()函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生 array 类型 ...
分类：
其他好文 时间：
2020-04-16 22:31:27
阅读次数：
68
一、部署安装MySQL注：在安装MySQL前需要卸载掉当前已有的mariadb，然后需要安装gcc环境1、安装cmake[root@mysql~]#wgethttps://github.com/Kitware/CMake/archive/v3.16.4.tar.gz#下载cmake[root@mysql~]#yum-yinstallopenssl-devel#有时候安装cmake的时候会报错，一般
分类：
数据库 时间：
2020-04-15 15:12:26
阅读次数：
82
CommonJoin和MapJoin区别 CommonJoin即传统思路实现Join，性能较差 因为涉及到了shuffle的过程 Common join/shuffle join/reduce join (都是指同一个) MapJoin 也叫作 boardcast join，但是MapJoin不会有 ...
分类：
其他好文 时间：
2020-04-15 13:56:14
阅读次数：
73
1 4.6.1 分区表基本操作 2 1．引入分区表（需要根据日期对日志进行管理） 3 /user/hive/warehouse/log_partition/20170702/20170702.log 4 /user/hive/warehouse/log_partition/20170703/2017 ...
分类：
其他好文 时间：
2020-04-13 22:23:13
阅读次数：
56
安装jdk http://www.cnblogs.com/libin2015/p/8086047.html linux设置 配置hosts vim /etc/hosts 192.168.1.9 Hadoop01 ssh免密 ssh-keygen -t rsa ssh-copy-id -i ~/.ss ...
分类：
其他好文 时间：
2020-04-12 16:19:28
阅读次数：
198
1.1-1 给出一个真实世界的例子，其中包含下列某种计算问题：排序，确定多矩阵相乘的最佳顺序、或者找出凸壳。 排序： 成绩排序 大多数的数据库都会用到排序 淘宝价格排序等 确定多矩阵相乘最佳顺序： 数字图像处理 模仿的矩阵模拟 找出凸壳： 这个我认为在选择最短路径的时候会用到， 另外看网上还提到找路 ...
分类：
编程语言 时间：
2020-04-12 16:03:28
阅读次数：
85
之前写了「 "CSDN 文章数据导出工具" 」，当时就说要写一下 「 "Halo博客文章数据导出工具" 」，本文就来介绍一下这个工具开发和使用。 效果展示 首先来看下导出的效果，与 CSDN 导出的数据类似，关于 CSDN 导出可查看「 "CSDN文章数据导出工具" 」。 开发 Halo 博客开源项 ...
分类：
其他好文 时间：
2020-04-12 14:48:09
阅读次数：
126
1：在flume/job下配置flume-file-logger.conf配置文件 2：在flume根目录下开启监听（注意，如果当天没有使用hive产生过日志文件的话先操作hive产生当天日志文件） 3：操作hive产生日志文件，查看控制台 ...
分类：
其他好文 时间：
2020-04-12 12:53:11
阅读次数：
150
linux下zip_unzip详解命令列表：zip -q (quiet) -r (recursive) -0（level0-level9） -e (encrypt) -u (update) -m (move into zipfile delete original-Source files) unz ...
分类：
系统相关 时间：
2020-04-10 22:51:47
阅读次数：
146
