（一）HA下配置spark 1，spark版本型号：spark-2.1.0-bin-hadoop2.7 2，解压，修改配置环境变量 3，修改spark-env.sh文件 4，修改slaves文件 5，分发及启动 各个节点jps情况： [root@ha1 spark-2.1.0]# jps 2464 ...
分类：
其他好文 时间：
2017-08-06 20:45:14
阅读次数：
209
准备： 确保hadoop2.2.0集群正常执行 1.eclipse中建立javaproject，导入hadoop2.2.0相关jar包 2.在src根文件夹下拷入log4j.properties，通过log4j查看具体日志 log4j.rootLogger=debug, stdout, R log4 ...
环境要求 说明：本文档为wordcount的mapreduce job编写及执行文档。 操作系统：Ubuntu14 x64位 Hadoop：Hadoop 2.7.0 Hadoop官网：http://hadoop.apache.org/releases.html MapReduce參照官网步骤： ht ...
分类：
其他好文 时间：
2017-08-04 19:28:35
阅读次数：
190
情景描述：用户的登录信息以记录的方式被存放在mysql(版本为5.1.73)的表中，现打算使用sqoop将登录记录抽取并存放到hdfs上，并使用mapreduce程序统计每个用户的登录次数。环境描述：采用4台虚拟机部署hadoop2.6.5的完全分布式环境，在其中一台担任namenode节点的主机上安装mysq..
分类：
其他好文 时间：
2017-08-04 16:17:42
阅读次数：
198
一、 概念知识介绍 Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架攻克了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，能够使没有并行 处理或者分布式计算经验的project师，也能非常轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程 ...
分类：
其他好文 时间：
2017-07-31 21:12:35
阅读次数：
446
首先先不看理论，搭建起环境之后再看； 搭建伪分布式是为了模拟环境，调试方便。 电脑是win10，用的虚拟机VMware Workstation 12 Pro，跑的Linux系统是centos6.5 ，装的hadoop2.6.0，jdk1.8； 1.准备工作 准备工作：把JDK和Hadoop安装包上传 ...
分类：
其他好文 时间：
2017-07-30 12:44:51
阅读次数：
201
vmware虚拟机环境：192.168.60.128master
192.168.60.129node129
192.168.60.130node1301、修改每台虚拟机的/etc/sysconfig/network和/etc/hosts#修改hostname：vim/etc/sysconfig/network#修改hosts内容如下：vim/etc/hosts192.168.60.128master
192.168.60.129node129
192.16..
分类：
其他好文 时间：
2017-07-26 17:46:57
阅读次数：
157
Hadoop开篇，按惯例。先编译源代码。导入到Eclipse。这样以后要了解那块，或者那块出问题了。直接找源代码。 编译hadoop2.4.1源代码之前。必须安装Maven和Ant环境，而且Hadoop须要protoc2.5.0的支持，所以还要下载protoc。我下载的是：protobuf-2.5. ...
分类：
系统相关 时间：
2017-07-25 22:40:58
阅读次数：
276
MapReduce进行单元测试的步骤： 1. 在POM中添加MRUnit 2. Mapper测试用例 3. Reducer测试用例 ...
分类：
其他好文 时间：
2017-07-25 19:53:25
阅读次数：
127
环境： hadoop2.6.0 jdk1.8 ubuntu 14.04 64位 1 安装scala环境 版本是scala-2.10.6，官网下载地址http://www.scala-lang.org/download/ ps：这里最好用jdk1.8配合这个scala版本，不然可能会报错，不过我看有些 ...
分类：
其他好文 时间：
2017-07-24 00:04:41
阅读次数：
252
