https://blog.csdn.net/qq_16403141/article/details/77598532 setOutputKeyClass和setOutputValueClass默认是同时设置map和reduce的输出类型的。 解决办法： 当K2, V2 和K3 , V3类型不一致时， ...
分类：
其他好文 时间：
2020-05-04 19:27:28
阅读次数：
66
一、简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题： （1）海量数据的存储 [HDFS] （2）海量数据的分析 [MapReduce] （3）资源管理调度 [YARN] 二、hadoop架构 在其核心，Hadoop ...
分类：
其他好文 时间：
2020-05-03 10:26:41
阅读次数：
66
一、下载Hadoop包和JDK1、下载Hadoop地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz2、下载jdk：链接：https://pan.baidu.com/s/1lbu7eBEtgjeGIi2bWthLnA提取码：0j0j二、准备虚拟机1、在VMware中创建新的虚拟机（Cen
分类：
其他好文 时间：
2020-05-03 01:08:47
阅读次数：
68
Hive架构架构原理： 1.4.1 查询语言 由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的 查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 1.4.2 数据存储位置 Hive 是建立在 Hadoop 之上的，所有 H ...
分类：
其他好文 时间：
2020-05-01 16:26:49
阅读次数：
51
HbaseAPI创建表错误记录Demo方法：importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDe
1. 查看日志，找到出错位置。 源码位置：hbase-0.94.11\src\main\java\org\apache\hadoop\hbase\master\AssignmentManager.java 1879 可以看到，问题是由于把某个region进行transit过程中出现了错。 造成的原因 ...
分类：
其他好文 时间：
2020-04-29 23:53:35
阅读次数：
149
分布式中最重要的一个概念：为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段。 在不同的技术层面，分布式有不同的体现：分布式文件系统、分布式缓存、分布式数据库、分布式计算。一些名词hadoop、zookeeper、MQ等都给分布式有关。 从理念上讲，分布式的实现有两种形式： （1） 水平扩展： ...
分类：
其他好文 时间：
2020-04-29 18:48:00
阅读次数：
70
? 1.主机名和IP配置 我们按照【三节点大数据环境安装教程1】已经完成虚拟机的克隆，但是我们克隆出来的三台虚拟机的配置是一样的需要做简单的修改. 1.1 启动三台虚拟机 1.启动第一台虚拟机 2.启动第二台虚拟机 3.启动第三台虚拟机 1.2 配置三台虚拟机主机名 1. 首先使用root用户名和r ...
分类：
其他好文 时间：
2020-04-29 14:55:31
阅读次数：
72
一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去 ...
分类：
其他好文 时间：
2020-04-29 10:59:03
阅读次数：
65
