Hadoop集群环境搭建(一) 1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主 ...
分类：
其他好文 时间：
2017-08-25 11:02:00
阅读次数：
252
1、安装hive 在安装hive前，请确保已经安装好了hadoop，如未安装，请参考centoos 安装hadoop集群进行安装； 1.1、下载，解压 下载hive2.1.1：http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2. ...
分类：
编程语言 时间：
2017-08-17 22:49:57
阅读次数：
382
该视频教程共22讲，由王家林老师主讲。 第01讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？ 第02讲：10分钟从技术角度理解Hadoop 第03讲：Hadoop集群安装解析 第04讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等 第05讲：Hadoop集群 ...
分类：
其他好文 时间：
2017-08-14 10:12:38
阅读次数：
190
Storm 集群类似于一个 Hadoop 集群。然而你在 Hadoop 的执行“MapReduce job”， 在storm 上你执行 “topologies (不好翻译)”。“job”和“topologies ”本身有非常 大的不同，一个关键的差别是，MapReduce 的工作终于完毕，而 top ...
分类：
其他好文 时间：
2017-08-13 10:01:48
阅读次数：
194
搭建hadoop集群完整过程笔记 一、虚拟机和操作系统 环境：ubuntu14+hadoop2.6+jdk1.8 虚拟机：vmware12 二、安装步骤： 先在一台机器上配置好jdk和hadoop: 1.新建一个hadoop用户 用命令：adduser hadoop 2.为了让hadoop用户有su ...
分类：
系统相关 时间：
2017-08-12 18:12:17
阅读次数：
287
Hive安装 1.1下载Hive安装包 官网：http://hive.apache.org/downloads.html 个人建议到这里下载：http://apache.forsale.plus/ 1.2将hive文件上传到HADOOP集群，并解压 将文件上传到 /usr ，解压 重命名: mv / ...
分类：
其他好文 时间：
2017-08-09 14:24:49
阅读次数：
165
vmware虚拟机环境：192.168.60.128master
192.168.60.129node129
192.168.60.130node1301、修改每台虚拟机的/etc/sysconfig/network和/etc/hosts#修改hostname：vim/etc/sysconfig/network#修改hosts内容如下：vim/etc/hosts192.168.60.128master
192.168.60.129node129
192.16..
分类：
其他好文 时间：
2017-07-26 17:46:57
阅读次数：
157
本文介绍使用hdfs java api的配置方法。 1、先解决依赖，pom 2、配置文件，存放hdfs集群配置信息，基本都是来源于core-site.xml和hdfs-site.xml，可以根据hdfs集群client端配置文件里的信息进行填写 3、java client api 4、configu ...
分类：
编程语言 时间：
2017-07-22 16:49:09
阅读次数：
173
虚拟机上安装好一台linux 系统后。为了高速搭建hadoop集群。须要再安装几个linux系统，比較笨的办法能够又一次用ios 镜像文件进行安装。可是又一次安装须要又一次配置一些信息并且安装时间比較长（一般在半个小时左右）。所以建议使用VMWare 特用的克隆功能高速的安装linux系统（克隆时间 ...
分类：
系统相关 时间：
2017-07-18 10:04:27
阅读次数：
195
MapReduce的运行流程简单概括例如以下：用户作业运行JobClient.runJob(conf)代码会在Hadoop集群上将其启动。启动之后JobClient实例会向JobTracker获取JobId。并且client会将作业运行须要的作业资源拷贝到HDFS上，然后将作业提交给JobTrack ...
分类：
其他好文 时间：
2017-07-17 20:24:16
阅读次数：
187
