J 为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及 ...
分类：
其他好文 时间：
2019-04-23 15:43:25
阅读次数：
177
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 这三类中，我们只对UDF类的函数进行改写 这三类中，我们只对UDF类的函数进行改写 pom文件配置 UDF函数编写 打j ...
分类：
其他好文 时间：
2019-04-23 12:34:52
阅读次数：
229
Apache Hadoop的服务的部署比較繁琐。须要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。因为须要对Hive,HBase,Impala,Spark进行功能測试，就採用了Cloudera Manager方式进行安装。 Cl ...
分类：
其他好文 时间：
2019-04-23 09:17:26
阅读次数：
362
在有些时候，想要控制hql执行的mapper,reducer个数,reducer设置过少，会导致每个reducer要处理的数据过多，这样可能会导致OOM异常，如果reducer设置过多，则会导致产生很多小文件，这样对任务的执行以及集群都不太好.通常情况下这两个参数都不需要手动设置，Hive会根据文件 ...
分类：
其他好文 时间：
2019-04-22 20:59:35
阅读次数：
258
【为什么要了解hive执行流程】 【分析基于hadoop之上的SQL执行流程】 基本SQL框架 基本SQL框架 【例表:traffic_info】 【例表：TV_info】 解析：这两个简单的sql基本上涵盖了所有的大数据sql的框架，也就是说无论多磨复杂的大数据sql最终都会落到这两个简单的sql ...
分类：
数据库 时间：
2019-04-22 16:48:43
阅读次数：
309
01. 列举常见的关系型数据库和非关系型都有那些？ 1.关系型数据库通过外键关联来建立表与表之间的关系， 常见的有：SQLite、Oracle、mysql 2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定 常见的有：MongoDb、redis 02 ...
分类：
数据库 时间：
2019-04-22 00:36:33
阅读次数：
168
Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。 小文件带来的问题 关于这个 ...
分类：
其他好文 时间：
2019-04-21 20:02:52
阅读次数：
280
本篇博客用于记录一下在 Linux 系统下安装 Java 环境。 在大部分的 Linux 系统中都有安装 Open JDK，所以最好是先卸载 Open JDK 后在进行我们的 JDK 安装。Open JDK 只包含了最精简的 JDK，源代码不完整。建议如果系统中存在 Open JDK， 先进行卸载在 ...
分类：
系统相关 时间：
2019-04-21 18:47:16
阅读次数：
290
hadoop-2.9.2与hive-2.3.4.bin在centos7上进行单机部署并简单测试
分类：
Web程序 时间：
2019-04-21 11:33:32
阅读次数：
429
【hive中的file_format】 SEQUENCEFILE：生产中绝对不会用，k-v格式，比源文本格式占用磁盘更多 TEXTFILE：生产中用的多，行式存储 RCFILE：生产中用的少，行列混合存储，OCR是他得升级版 ORC：生产中最常用，列式存储 PARQUET：生产中最常用，列式存储 A ...
分类：
其他好文 时间：
2019-04-21 09:17:35
阅读次数：
206
