架构 1.hive是数据仓库，在hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计，查询和简单的分析操作。 2.hive不是 a.关系型数据库 b.OLTP c.实时查询和行级更新操作 3.hive特点 a.表模型存储在database(关系型)中，处理的数据存储在HDFS ...
分类：
其他好文 时间：
2018-08-13 14:58:10
阅读次数：
151
Hadoop的mapreduce是一个快速、高效、简单用于编写的并运行处理大数据程序并应用在大数据集群上的编程框架。它将复杂的、运行于大规模集群上的并行计算过程高度的抽象到两个函数：map、reduce。适用于MP来处理的数据集（或者任务），需要满足一个基本的要求：待处理的数据集可以分解成许多小的数 ...
分类：
其他好文 时间：
2018-07-17 23:14:20
阅读次数：
133
单机模式所需要的系统资源是最少的，这种安装模式下，Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下，官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时，Hadoop完全运行在本地，不 ...
分类：
其他好文 时间：
2018-07-07 13:53:08
阅读次数：
171
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行 ...
分类：
其他好文 时间：
2018-07-07 13:50:03
阅读次数：
223
本blog以K-Master服务器基础环境配置为例分别演示用户配置、sudo权限配置、网路配置、关闭防火墙、安装JDK工具等。用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置。 开发环境 硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Sla ...
分类：
其他好文 时间：
2018-07-07 13:44:20
阅读次数：
176
在这篇blog中，我们将介绍Hbase的单机模式安装与伪分布式的安装方式，以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境，搭建hadoop环境请参考：【Hadoop基础教程】4、Hadoop之完全分布式环境搭建 开发环境 硬件环境 ...
分类：
其他好文 时间：
2018-07-07 13:39:34
阅读次数：
186
前言 从今天起，我将一步一步的分享大数据相关的知识，其实很多程序员感觉大数据很难学，其实并不是你想象的这样，只要自己想学，还有什么难得呢？ 学习Hadoop有一个8020原则，80%都是在不断的配置配置搭建集群，只有20%写程序！ 一、引言（大数据时代） 1.1、从数据中得到信息 我们看一张图片： ...
分类：
其他好文 时间：
2018-06-30 18:47:19
阅读次数：
174
粘贴一下我在部门中的一次hive优化的分享。 简述 hive构建在hadoop基础上，利用分布式存储，通过mr引擎实现对大数据的计算。MR会频繁地读写磁盘而且MR任务的启动成本很高。对于hive优化显得尤为重要。而优化的核心就是更好地利用hadoop的分布式特性和hive的有点。本篇从IO、参数设置 ...
分类：
其他好文 时间：
2018-06-29 19:21:14
阅读次数：
160
1.两者区别是什么？ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。ApacheHBase是一种Key/Value系统，它运行在HDFS
分类：
其他好文 时间：
2018-06-26 20:04:28
阅读次数：
139
1.hadoop是一份分布式的基础架构（分服务器部署） 2.优点：可扩展 3.NameNode：名称节点，管理文件系统 DataNode：数据节点，文件系统的工作者 4.HDFS：不适合低延迟的数据访问，不适合大量的小文件。默认128MB 5.主要的是ResourceManger和NodeManag ...
分类：
其他好文 时间：
2018-06-23 13:19:20
阅读次数：
123
