软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0...
分类：
其他好文 时间：
2016-12-25 18:49:30
阅读次数：
251
1.下载hadoop-2.7.2.tar.gz 2.解压到D:\hadoop\ 3.配置HADOOP_HOME环境变量 4.将%HADOOP_HOME%\bin目录添加到path环境变量中 5.配置JAVA_HOME环境变量，注意路径不要带空格 6.下载hadoop-common-bin工具包(注意 ...
2016年12月14日21:37:29
Author：张明阳
博文链接：http://blog.csdn.net/a2011480169/article/details/53647012近来这几天...
分类：
其他好文 时间：
2016-12-15 21:18:22
阅读次数：
231
1. 需要先在Mac OS中安装好R，Rstudio中，这个比较简单，掠过 2. 下载编译好的spark（spark-2.0.0-bin-hadoop2.6.tgz）可以在Spark官网下载到你所需要的版本 解压spark到指定目录 $ tar -zxvf spark-2.0.0-bin-hadoo ...
分类：
Web程序 时间：
2016-12-12 01:56:07
阅读次数：
338
为了将Hadoop和Spark的安装简单化，今日写下此帖。 首先，要看手头有多少机器，要安装伪分布式的Hadoop+Spark还是完全分布式的，这里分别记录。 1. 伪分布式安装 伪分布式的Hadoop是将NameNode，SecondaryNameNode，DataNode等都放在一台机器上执行， ...
分类：
系统相关 时间：
2016-12-11 12:33:58
阅读次数：
306
问题详情是 2016-12-10 23:24:13,317 INFO [org.apache.hadoop.metrics.jvm.JvmMetrics] - Initializing JVM Metrics with processName=JobTracker, sessionId=2016-1 ...
Hadoop入门Hadoop入门Hadoop2.0介绍
分类：
其他好文 时间：
2016-12-10 07:20:20
阅读次数：
152
1.生成TSV文件 2.内容 3.上传到HDFS 4.运行 $HADOOP_HOME/bin/yarn jar lib/hbase-server-0.98.6-hadoop2.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:age,info: ...
分类：
其他好文 时间：
2016-12-09 19:22:37
阅读次数：
176
一、概述关于Hbase的工作原理网上已经有很多详细介绍，就不在这里赘述了，我们直接研究代码作为Hbase最新stable版，Hbase内部引入的部分hadoop2.5系列的jar包，这里且暂不去理会它，但是Java环境必须要8以上，我的正确运行环境为：Centos-6.5hadoop-2.6.5Hbase-1.2.4jdk1.8二、..
分类：
编程语言 时间：
2016-12-06 23:18:02
阅读次数：
285
YARN（YetAnotherResourceNegotiator），它是统一的资源管理平台，是在Hadoop2.0中才出现的一个组件。YARN是Hadoop的处理层，包含资源管理器和作业调度器。它在它的资源管理器中去分配好队列，这个队列划分可以根据业务规则，根据技术的模块进行划分，比如同时拥有hive和hbase..
分类：
其他好文 时间：
2016-12-05 23:55:39
阅读次数：
357
