通过java api连接Hadoop集群时，如果集群支持HA方式，那么可以通过如下方式设置来自动切换到活动的master节点上。其中，ClusterName 是可以任意指定的，跟集群配置无关，dfs.ha.namenodes.ClusterName也可以任意指定名称，有几个master就写几个，后面 ...
分类：
编程语言 时间：
2017-05-09 20:45:38
阅读次数：
212
一、实验目的 本实验通过模拟一个典型的应用场景和实际数据量，测试并对比HAWQ内部表、外部表与Hive的查询性能。二、硬件环境1. 四台VMware虚机组成的Hadoop集群。2. 每台...
分类：
其他好文 时间：
2017-05-09 18:21:53
阅读次数：
365
在Hadoop 2.7.2集群下执行如下命令： spark-shell --master yarn --deploy-mode client 爆出下面的错误： org.apache.spark.SparkException: Yarn application has already ended! I ...
分类：
系统相关 时间：
2017-05-06 18:57:43
阅读次数：
1296
在配置Hadoop集群成功后，利用官方自带的例子简单测试了一下MapReduce程序WordCount，这个例子也就相当于编程入门的HelloWorld程序了，结构清晰容易理解，并且方便说明MapReduce的工作过程。这篇随笔主要想记录下在Eclipse中编写简单的MapReduce程序的上手过程 ...
分类：
其他好文 时间：
2017-05-03 17:14:08
阅读次数：
218
准备工作： 1. hadoop集群（我用的是hadoop-2.7.3版本），这里hadoop有两种：1是编译好的hadoop-2.7.3；2是源代码hadoop-2.7.3-src； 2. 自己的机器可以是任何系统，只要支持JVM，自己的主机上必须有eclipse，以及hadoop-2.7.3和ha ...
分类：
编程语言 时间：
2017-04-28 13:49:17
阅读次数：
900
1、软件准备 a)、操作系统：CentOS-7-x86_64-DVD-1503-01 b)、虚拟机：VMware-workstation-full-9.0.2-1031769（英文原版先安装） VMware Workstation 9.0.2.1031769(汉化包后安装) c)、xftp4、XSh ...
分类：
其他好文 时间：
2017-04-23 21:36:19
阅读次数：
243
一、与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 1、Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理。 2、Spark可以将Hadoop集群中的应用在内存中 ...
分类：
其他好文 时间：
2017-04-18 12:41:35
阅读次数：
138
简介： Apache Hadoop 集群安装文档 软件：jdk-8u111-linux-x64.rpm、hadoop-2.8.0.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.t ...
分类：
Web程序 时间：
2017-04-12 19:58:46
阅读次数：
401
环境：centos 6.6 x64 （学习用3节点） 软件：jdk 1.7 + hadoop 2.7.3 + hive 2.1.1 环境准备： 1、安装必要工具 2、使用163的yum源： cd /etc/yum.repo.d/ wget http://mirrors.163.com/.help/C ...
分类：
其他好文 时间：
2017-04-09 14:49:41
阅读次数：
204
搭建ubuntu版hadoop集群 用到的工具：VMware、hadoop-2.7.2.tar、jdk-8u65-linux-x64.tar、ubuntu-16.04-desktop-amd64.iso 1、 在VMware上安装ubuntu-16.04-desktop-amd64.iso 单击“创 ...
分类：
系统相关 时间：
2017-04-05 01:08:54
阅读次数：
302
