Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？Hive和Impala存储和加载表，和所有的关系型数据库一样，有自己的数据管理结构，从它的Server到Database再到表和视图。在其他的数据库中，表都是以自己特定的文件格式来存..
分类：
其他好文 时间：
2016-12-28 21:39:11
阅读次数：
246
背景 随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产 ...
分类：
其他好文 时间：
2016-12-21 20:30:38
阅读次数：
322
Impala与Hive都是构建在Hadoop之上的数据查询工具，但是各有不同侧重，那么我们为什么要同时使用这两个工具呢？单独使用Hive或者Impala不可以吗？一、介绍Impala和Hive（1）Impala和Hive都是提供对HDFS/Hbase数据进行SQL查询的工具，Hive会转换成MapReduce，借助于YARN进行调度..
分类：
其他好文 时间：
2016-12-20 21:26:06
阅读次数：
282
By yhluo 2015年7月29日 Impala 3 Comments Impala 源代码目录结构 SQL 解析 Impala 的 SQL 解析与执行计划生成部分是由 impala-frontend（Java）实现的，监听端口是 21000。用户通过Beeswax 接口 BeeswaxServ ...
分类：
其他好文 时间：
2016-12-20 07:44:25
阅读次数：
912
本文总结了Hadoop生态系统中各个组件使用的端口，包括了HDFS，Map Reduce，HBase，Hive，Spark，WebHCat，Impala，Alluxio，Sqoop等，后续会持续更新。 HDFS Ports： Service Servers Default Ports Used Pr ...
分类：
其他好文 时间：
2016-12-06 09:36:46
阅读次数：
200
分布式系统实践 1. 列存储格式Parquet调研报告 http://dwz.cn/4HnU24 摘要: Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持(Hive、Impala、D ...
分类：
其他好文 时间：
2016-12-04 09:40:28
阅读次数：
149
分布式系统实践 1. 大数据时代快速SQL引擎-Impala http://dwz.cn/4G9mvt 摘要: 在Dremel论文发表之后，开源社区涌现出了一批基于MPP架构的SQL-on-Hadoop(HDFS)查询引擎，典型代表有Apache Impala、Presto、Apache Drill ...
分类：
其他好文 时间：
2016-11-26 11:23:53
阅读次数：
245
YARN:Yet Another Resource Negotiator, Hadoop集群的资源管理器，可以对运行在Hadoop上的MapReduce V2，Spark，Impala等进行内存和CPU的分配。 MapReduce过程分析 input split（输入分片）阶段:在进行Map之前，会 ...
分类：
其他好文 时间：
2016-10-04 18:44:07
阅读次数：
144
随着用户使用天数的增加，不管你的业务是扩大还是缩减了，为什么你的大数据中心架构保持线性增长的趋势？很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期，或者你的业务处在淡季，你增加的计算资源就处在浪费阶段；相对应地，当你的业务在旺季期，或者每周一每个人对上周的数据进行查询分析，有多少次 ...
分类：
其他好文 时间：
2016-10-04 16:33:17
阅读次数：
379
Hive和HBase都很重要，当然啦，各自也有自己的替代品。 在公司里，SQL有局限，大部分时候，不需写mr程序的，用hive这个工具。 公司里的懂java开发员工不一定每个公司都有，但懂SQL开发员工很多。 Hive的替代品:impala、spark shark、spark sql… Hive、i ...
分类：
其他好文 时间：
2016-09-24 12:10:45
阅读次数：
259
