注意： spark用2.1.1 scala用2.11.11 材料准备 spark安装包 JDK 8 IDEA开发工具 scala 2.11.8 环境搭建步骤 将spark-2.1.1-bin-hadoop2.x版本至c盘下即可 将spark中的jar包全部提取出来另外放到一地方用于进行开发 新建ID ...
一.Hadoop安装部署的预备条件 准备：1、安装Linux和JDK 2、关闭防火墙 3、配置主机名 解压：tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/ 设置环境变量：vi ~/.bash_profile source ~/.bash_profile 二. ...
分类：
其他好文 时间：
2018-02-21 23:33:59
阅读次数：
227
（一）系统准备与安装 1.准备下载centos7 （百度自行下载）可以到开源镜像站下载，速度比较快，比如清华的或者阿里的 在vmware上安装 这里我用的是vmware12 打开Vmware 选择文件 选择自定义 选择稍后安装系统 然后下一步下一步直到 选自定义 添加iso镜像 就是你要安装的系统的... ...
分类：
其他好文 时间：
2018-02-18 16:20:49
阅读次数：
156
1. 软件版本号：Hadoop2.6.0（IDEA中源代码编译使用CDH5.7.3，相应Hadoop2.6.0），集群使用原生Hadoop2.6.4。JDK1.8，Intellij IDEA 14 。源代码能够在https://github.com/fansy1990/linear_regressi ...
分类：
其他好文 时间：
2018-02-12 13:49:03
阅读次数：
233
转载自 ：http://blog.csdn.net/gis_101/article/details/52679914 1、问题背景 操作系统：CentOS7 64位 Hadoop版本：Hadoop2.7.3 JDK：1.8.0_65 2、问题描述 使用start-all.sh脚本或者先后执行star ...
分类：
其他好文 时间：
2018-02-10 15:53:48
阅读次数：
166
前言 使用Hadoop进行离线分析或者数据挖掘的project师，常常会须要对Hadoop集群或者mapreduce作业进行性能调优。或许你知道通过浏览器訪问http://master:18088/conf来查看配置信息。例如以下图所看到的： 但是当Linuxproject师们仅仅面对命令行时，怎样 ...
分类：
其他好文 时间：
2018-02-09 20:43:36
阅读次数：
169
Hadoop 使用 YARN 运行 MapReduce 的过程如下图所示: 总共分为11步. 这里以 WordCount 为例, 我们在客户端终端提交作业: 第一步: run job ( 运行作业 ) 这一步是在 Client 内部进行, hadoop jar .... 是通过 RunJar 运行的 ...
分类：
其他好文 时间：
2018-02-08 13:36:00
阅读次数：
174
因为学习,在网上找了很多hbase搭建的文章,感觉这篇很好,点此 搭建好后,jps查看了后台进程,发现在slave上面没有HRegionServer进程 便查看了 slave上关于HRegionServer的日志,发现报错 如下 然后网上查了一下,说是时间不同步的问题,自己使用date命令查看了一下 ...
分类：
其他好文 时间：
2018-02-08 12:23:01
阅读次数：
168
摘自：https://www.cnblogs.com/tgzhu/p/5790565.html hadoop2.X HA 原理: hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决 ...
分类：
其他好文 时间：
2018-01-29 21:26:55
阅读次数：
610
摘自：https://yq.aliyun.com/articles/5896 一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头 ...
分类：
其他好文 时间：
2018-01-24 11:04:13
阅读次数：
228
