Hive 背景 引入原因 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一推MapReduce代码 对于统计任务，只能由懂MapReduce的程序员才能搞定 耗时耗力，更多精力没有有效的释放出来 Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和 ...
分类：
其他好文 时间：
2019-03-03 16:14:12
阅读次数：
140
一、知识梳理1.1、背景表结构1.1.1、order by1.1.2、sort by1.1.3、distribute by1.1.4、cluster by1.2、行转列、列转行（UDAF 与 UDTF）1.2.1、行转列1.2.2、列转行1.3、建表时的数组操作1.4、orc 存储1.5、Hive ...
分类：
其他好文 时间：
2019-03-03 09:41:48
阅读次数：
209
"一、存储格式行存储和列存储" "二、Hive文件存储格式" "三、创建语句和压缩" 一、存储格式行存储和列存储 1. 行存储可以理解为一条记录存储一行，通过条件能够查询一整行数据。 2. 列存储，以字段聚集存储，可以理解为相同的字段存储在一起。 二、Hive文件存储格式 1. TEXTFILE, ...
分类：
其他好文 时间：
2019-03-02 01:07:09
阅读次数：
357
启动hiveserver2服务之后使用beeline链接报一下错误beeline>!connectjdbc:hive2://localhost:10000Connectingtojdbc:hive2://localhost:10000Enterusernameforjdbc:hive2://localhost:10000:hadoopEnterpasswordforjdbc:hive2://
分类：
其他好文 时间：
2019-03-01 23:26:41
阅读次数：
396
在操作mysql时误删除root用户，如何进行恢复 在安装hive时候误删除root用户，存在的用户没有权限，解决方法如下。 1、首先在/etc/my.cnf文件中 mysqlID下面添加 用来跳过安全密码验证 2、在服务上重启mysql服务 3、使用mysql直接进入mysql 4、使用mysql ...
分类：
数据库 时间：
2019-03-01 12:53:43
阅读次数：
222
网盘下载地址：http://yisharepdf.site/archives/28 作者: [美] 史蒂夫·迈克康奈尔 出版社: 电子工业出版社 原作名: Code Complete 译者: 金戈 / 汤凌 / 陈硕 / 张菲 译 / 裘宗燕 审校 出版年: 2006-3 页数: 944 定价: 1 ...
分类：
其他好文 时间：
2019-03-01 12:42:18
阅读次数：
233
解决方案二1. 增加reduce 的jvm内存2. 增加reduce 个数3. customer partition4. 其他优化的讨论.5. reduce sort merge排序算法的讨论6. 正在实现中的hive skewed join.7. pipeline8. distinct9. ind ...
分类：
其他好文 时间：
2019-03-01 12:26:20
阅读次数：
279
第8章 压缩和存储（Hive高级）8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5 ...
分类：
其他好文 时间：
2019-02-28 19:54:13
阅读次数：
193
重要的事情说三遍：不要使用jenkins dmg安装包直接安装，用brew安装 PS:会有权限问题 重要的事情说三遍：不要使用jenkins dmg安装包直接安装，用brew安装 重要的事情说三遍：不要使用jenkins dmg安装包直接安装，用brew安装 https://www.xuanyuso ...
分类：
编程语言 时间：
2019-02-28 18:23:39
阅读次数：
348
方法1在主库上使用备份的进行恢复丢失的归档日志 1.发现主库备份后删除了归档,但是这些归档从库还没应用,也没有传到从库从库应用的最新的归档日志为592SQL> connect / as sysdbaConnected.SQL> Select Max(t.SEQUENCE#) From V$archi ...
分类：
其他好文 时间：
2019-02-28 16:41:03
阅读次数：
309
