安装环境：虚拟机：VMware® Workstation 8.0.1（网络桥接）OS：CentOS 7JDK版本：jdk-7u79-linux-x64.tarScala版本：scala-2.11.7Spark版本：spark-1.4.0-bin-hadoop2.4用户：hadoop安装Centos时...
分类：
其他好文 时间：
2015-07-17 22:17:36
阅读次数：
201
一、hadoop伪分布式搭建 ????其实官网有比较详实的说明，英语好的可以直接看官网，地址 ????1、安装JDK1.7 ????????这个省略，官网显示1.6可以，但是我用openjdk1.6出了异常，JDK1.6没试，直接用...
分类：
其他好文 时间：
2015-07-14 18:27:22
阅读次数：
172
目标：编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件环境：win7x64家庭普通版eclipse-jee-kepler-SR1-win32-x86_64.zipApache Ant(TM) version 1.8.4 compiled on May 22 2012...
配置linux基本环境： -->java、ip、hostname、hosts、iptables、chkconfig、ssh环境配置hadoop2.2安装在linux64位机器上，需要对源码进行编译： 首先安装google的protobuf yum install glibc-he...
分类：
其他好文 时间：
2015-07-11 08:59:52
阅读次数：
140
hadoop2概述 hadoop1和hadoop2的结构比较: hadoop1中有HDFS和MapReduce.HDFS负责存储,MapReduce负责计算,但是有几个问题需要解决: 1.单点的问题.HDFS的namenode和MapReduce的jobTracker...
分类：
其他好文 时间：
2015-07-09 06:19:08
阅读次数：
170
环境：Windows8.1，Eclipse用Hadoop自带的wordcount示例hadoop2.7.0hadoop-eclipse-plugin-2.7.0.jar //Eclipse的插件，需要对应Hadoop当前版本基本步骤有很多博客已经提及，就不再赘述1. 将hadoop-eclipse-...
分类：
系统相关 时间：
2015-07-08 18:30:02
阅读次数：
328
1 硬件环境Ubuntu 14.10 64位2 软件环境openjdk-7-jdkhadoop 2.6.0zookeeper-3.4.6hbase-1.0.03 机群规划3.1 zookeeper配置-机器结点192.168.1.100 1421-0000192.168.1.106 1421-0.....
分类：
系统相关 时间：
2015-07-08 18:24:43
阅读次数：
122
spark1.4 Windows local调试环境搭建总结 1.scala版本 scala-2.10.4 官方推荐 scala-2.11.7【不推荐，非sbt项目、需要后加载】 2.spark版本 spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop 3.1版本 hadoop-2.6.0.tar.g...
官网下载hadoop二进制文件,安装部署，可以成功，但是每次运行命令之前均会报错Unable to load native-hadooplibrary for your platformhadoop，经查明为官网提供的是32位，但实际生产环境中一般均需要64位，下面就结合网上资料，整理编译64位.....
分类：
其他好文 时间：
2015-07-08 16:16:36
阅读次数：
133
继续上文，接着进行介绍2.2编辑hadoop-env.sh由于Hadoop是基于java编写的，所以需要在hadoop-env.sh里设置JDK路径。首先打开/etc/hadoop/hadoop-env.sh文件。找到JAVA_HOME变量，将其修改为export JAVA_HOME=/usr/li...
分类：
系统相关 时间：
2015-07-08 12:39:28
阅读次数：
169
