4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false， 这样默认的输出就是非压缩的纯 ...
分类：
其他好文 时间：
2020-07-24 21:30:31
阅读次数：
69
以上面的excel格式，输出字典类型： import xlrddef read_excel_data(): filename = 'E:\学历列表.xls' data = xlrd.open_workbook(filename) table = data.sheet_by_name('Sheet1' ...
分类：
编程语言 时间：
2020-07-24 21:25:57
阅读次数：
116
时间格式转换 日期格式→Unix时间戳 转10位Unix时间戳 数据：2020-07-23 15:01:13 Presto：select to_unixtime(cast('2020-07-23 15:01:13' as timestamp)) Hive：select unix_timestamp( ...
分类：
其他好文 时间：
2020-07-24 16:10:55
阅读次数：
181
SQL SQL（structured query language）是一种领域特定语言（DSL，domain-specific language），用于管理关系型数据库（relational database management system，RDBMS）。 SQL主要有4种类别 DDL Data ...
分类：
数据库 时间：
2020-07-24 15:24:48
阅读次数：
81
自己学习Hadoop时，整理的资料，方便以后查看，希望能帮到大家，有什么问题欢迎大家指出 一、Hadoop是什么？其核心又是什么？ Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类：
其他好文 时间：
2020-07-23 22:35:14
阅读次数：
65
1 数据导入 1.1 向表中装载数据（Load） 1．语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类：
其他好文 时间：
2020-07-22 20:27:55
阅读次数：
71
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-07-21 22:25:52
阅读次数：
76
官网语法如下所示https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-AlteringandDroppingTables ***注意:***REPLACE列 替换所有现有列，只更改表的模式，而不是 ...
分类：
其他好文 时间：
2020-07-21 09:46:44
阅读次数：
105
什么是Hive： 数据仓库软件，可以通过SQL读写和管理分布式存储的大型数据集，结构可以映射在已经存储的数据。用户可以通过命令行工具和JDBC连接到Hive。 Hive Commands： quit/exit：退出interactive shell reset：重置配置设定到默认值。 set =：设 ...
分类：
其他好文 时间：
2020-07-21 01:27:08
阅读次数：
119
