目的: 基于上篇的方法介绍，开发很不方便 。[0007] windows 下 eclipse 开发 hdfs程序样例 装上插件，方便后续直接在windows下的IDE开发调试。 环境： Linux Hadoop 2.6.4，参考文章 [0001] Win 7 64 下的 Eclipse Versio ...
目的： 学习使用hdfs 的java命令操作 环境： hadoop2.6.4 伪分布式 win7 + eclipse Version: Luna Service Release 1 (4.4.1) 1. 新建项目 1.1 新建java项目 Hadoop_伪分布式 1.2 导入hadoop 2.6.4 ...
1. Hadoop 环境搭建 过 1.1 hadoop2.6.4 搭建伪分布式 ok ref 伪分布式 hadoop 2.6.4 后续： 1.2 纯分布式搭建 notok 1.3 发行版CDH、Hortornwork 搭建 notok 2. HDFS 命令行使用 过 1.1 常用功能使用 ok 创建 ...
分类：
其他好文 时间：
2016-10-23 17:01:07
阅读次数：
161
Hadoop2相比较于自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍，对Hadoop这个神奇的小象有了一个初步的了解，还对每次学习的内容进行了总结，也形成了我的一个博文系列《Hadoop学习笔记系列》。其实，早在2014年Hadoop2.x版本就已经开始流行了起来，并且已经成... ...
分类：
其他好文 时间：
2016-10-22 17:52:04
阅读次数：
559
越来越健忘了，得记录下自己的操作才行！ ES和spark版本： spark-1.6.0-bin-hadoop2.6 Elasticsearch for Apache Hadoop 2.1.2 如果是其他版本，在索引数据写入的时候可能会出错。 首先，启动es后，spark shell导入es-hado ...
分类：
其他好文 时间：
2016-10-20 17:41:59
阅读次数：
301
hadoop2.6.4 jdk1.8 spark2.0.1 方案1： 在spark的conf目录下，修改spark-env.sh文件加入LD_LIBRARY_PATH环境变量，值为hadoop的native库的路径 方案2： 在 /etc/profile 设置一下 export LD_LIBRARY ...
分类：
其他好文 时间：
2016-10-20 14:43:43
阅读次数：
314
hadoop2提交到Yarn： JOB提交过程 http://www.aboutyun.com/forum.php?mod=viewthread&tid=9366&highlight=hadoop2%CC%E1%BD%BB%B5%BDYarn hadoop2提交到Yarn： Map执行过程 http ...
分类：
其他好文 时间：
2016-10-19 20:20:45
阅读次数：
161
环境：Hadoop2.7.3 1、Benchmarking HDFS 1.1测试集群的写入 运行基准测试是检测HDFS集群是否正确安装以及表现是否符合预期的好方法。DFSIO是Hadoop自带的一个基准测试程序，可以用来分析HDFS集群的I/O能力 脚本： $HADOOP_HOME/bin/hado ...
分类：
其他好文 时间：
2016-10-18 02:09:14
阅读次数：
156
目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止Hadoop 目录 作者： vincent_zh时间：2016-10-16 出处：http://ww ...
分类：
其他好文 时间：
2016-10-16 19:19:16
阅读次数：
303
Hadoop2经典分布式部署模式 基于QJN的HA模式的分布式部署，不含Federation模块的实践是一个经典的Hadoop2的高可用的分布式部署模式。 1.准备测试环境 2.安装步骤 一、初始化每台linux系统设置 安装centos6.4 x64的操作系统，安装过程略 安装成功后初始化每台机器 ...
分类：
其他好文 时间：
2016-10-15 22:06:46
阅读次数：
209
