1.安装 Red Hat 环境 2.安装JDK 3.下载hadoop2.8.0 http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 4.在用户目录下新建hadoop文件夹, ...
分类：
其他好文 时间：
2017-07-07 10:12:32
阅读次数：
257
安装hadoop的步骤比较繁琐，但是并不难。 在CentOS上安装Hadoop2.7 1. 安装 CentOS，注：图形界面并无必要 2. 在CentOS里设置静态IP，手工编辑如下4个文件 /etc/hosts /etc/sysconfig/netwok /etc/hostname /etc/sy ...
分类：
其他好文 时间：
2017-07-07 00:47:14
阅读次数：
211
hadoop_dll2.6.0_64bit下载地址 https://pan.baidu.com/s/1kVSMkV9 首先在解压hadoop2.6.5 然后配置到path里面 在bin里加入hadoop_dll2.6.0_64bit这个压缩包中的所有文件,选择覆盖, 此时在java代码里面 Conf ...
分类：
其他好文 时间：
2017-07-06 10:20:43
阅读次数：
162
软件版本号：windows7： Tomcat7、JDK7、Spring4.0.2、Struts2.3、Hibernate4.3、myeclipse10.0、easyui；Linux（centos6.5）：Hadoop2.4、Mahout1.0、JDK7；使用Webproject调用Mahout的相关 ...
分类：
编程语言 时间：
2017-07-04 21:50:55
阅读次数：
198
local单机模式：结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100stan ...
分类：
其他好文 时间：
2017-07-03 23:59:58
阅读次数：
666
1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Hadoop2中的资源管理器。 Tip1: ...
分类：
其他好文 时间：
2017-07-03 22:35:58
阅读次数：
305
1：载mysql-connector 放入 jars下 2：在spark-env.sh中 配置EXTRA_SPARK_CLASSPATH环境变量 export EXTRA_SPARK_CLASSPATH=/home/fly/spark-2.1.1-bin-hadoop2.7/jars/ df = s ...
分类：
数据库 时间：
2017-06-29 15:19:07
阅读次数：
420
使用hadoop进行MapReduce编程的时候。我们都希望使用IDE进行开发。本文主要介绍怎样使用Eclipse进行hadoop编程。 假设你的集群还没搭好，能够參考我的前一篇文章Ubuntu下用hadoop2.4搭建集群（伪分布式） 一、安装Eclipse 方法一：直接在Ubuntu的软件中心进 ...
分类：
系统相关 时间：
2017-06-28 19:00:38
阅读次数：
334
第一次跑mapreduce，记录遇到的几个问题，hadoop集群是CDH版本的，但我windows本地的jar包是直接用hadoop2.6.0的版本，并没有特意找CDH版本的 1.Exception in thread "main" java.lang.NullPointerException at ...
node1192.168.1.11node2192.168.1.12node3192.168.1.13备注NameNodeHadoopYY高可用DateNode YYYResourceManager YY高可用NodeManagerYYYJournalNodes YYY奇数个,至少3个节点ZKFC（... ...
分类：
其他好文 时间：
2017-06-28 14:26:14
阅读次数：
674
