参考： Hail Hail - Tutorial windows也可以安装：Spark在Windows下的环境搭建 spark-2.2.0-bin-hadoop2.7 - Hail依赖的平台，并行处理 google cloud platform - 云平台 Broad's data cluster ...
分类：
其他好文 时间：
2018-05-14 19:57:29
阅读次数：
890
vv wait和notify，是要加syschronized的，是要获取锁的，wait是释放控制权，别的线程就可以执行了，notify和notifyall是通知其他线程执行。 ...
分类：
其他好文 时间：
2018-05-12 18:20:16
阅读次数：
138
1 搭建环境所使用的资源 VMware Workstation 9 ubuntu-14.04.2-desktop-amd64.iso jdk-7u80-linux-x64.tar.gz hadoop-2.5.0.tar.gz zookeeper-3.4.5-cdh5.1.0.tar.gz hbase ...
分类：
其他好文 时间：
2018-05-12 17:34:42
阅读次数：
184
一、编译Hadoop插件 首先需要编译Hadoop 插件：hadoop-eclipse-plugin-2.6.0.jar，然后才可以安装使用。 第三方的编译教程：https://github.com/winghc/hadoop2x-eclipse-plugin 二、放置插件并重启Eclipse 将编 ...
分类：
系统相关 时间：
2018-05-11 20:32:03
阅读次数：
194
前言 我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 (一)HDFS概述 基础架构 1、NameNode（Master） 1)命名空间管理：命名空间支持对HDFS中的目录、 ...
分类：
其他好文 时间：
2018-05-11 00:49:01
阅读次数：
179
hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop 2.5.0 cdh5.3.6/etc/hadoop目录，修改hadoop env.sh，core site.xml，hdfs site.xml，mapred site.xml ，yar ...
分类：
其他好文 时间：
2018-05-06 19:59:57
阅读次数：
169
参考： https://www.zybuluo.com/frank-shaw/note/206604 一、MapReduce数据处理流程 关于上图，可以做出以下逐步分析： 二、MapReduce在Hadoop上的具体实现 这个实现机制就是MapReduce1，在Hadoop2.x的时候实现机制变成了 ...
分类：
其他好文 时间：
2018-05-05 21:46:57
阅读次数：
312
参考： Hail Hail - Tutorial spark-2.2.0-bin-hadoop2.7 google cloud platform Broad's datacluster set-up tool Genome-wide gene-environment analyses of depr ...
分类：
其他好文 时间：
2018-04-30 13:23:30
阅读次数：
173
这篇是接着上篇zookeeper集群做的，所以有不熟悉的可以返回看下zookeeper集群的相关内容。这里是相关的命名行使用方法: 基本命令用法连接serverzkCli.sh -server Hadoop2:2181连接到Hadoop2服务器的2181端口列出指定node的子nodels /path查看/path下的子节点列表创建znode节点, 并指定关联数据create
分类：
其他好文 时间：
2018-04-28 15:40:10
阅读次数：
193
