所使用的hadoop为hadoop-2.5.1_x64.tar.gz 解压hadoop-2.5.1.tar.gz: # tar -zxvf hadoop-2.5.1_x64.tar.gz # mv hadoop-2.5.1 /home/ # cd /home/ # vi /home/hadoop-2 ...
分类：
其他好文 时间：
2018-06-24 00:44:00
阅读次数：
166
Hadoop单机模式安装 一、实验介绍 Hadoop单机模式安装 一、实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 ...
分类：
其他好文 时间：
2018-06-19 23:26:20
阅读次数：
420
1. MAPREDUCE原理 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1. 为什么要MAPRE ...
分类：
其他好文 时间：
2018-06-18 21:44:35
阅读次数：
234
1. HDFS的shell操作 1.1. 支持的命令及参数 1.2. 常用命令参数介绍 -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 - ...
分类：
系统相关 时间：
2018-06-18 18:28:06
阅读次数：
563
1. 安装准备 （1）必须安装jdk： 因为hadoop是基于Java实现的，所有必须安装jdk 是JDK不是jre jdk1.7 jdk1.8 （2）系统位数 （3）创建专用用户 useradd hadoop passwd hadoop 为hadoop用户授予将要使用的文件夹权限 使用的文件夹有安 ...
分类：
其他好文 时间：
2018-06-18 13:57:43
阅读次数：
619
Yarn的简单介绍 我们知道在离线大数据处理领域中，hadoop是目前无可厚非的处理架构，到目前为止hadoop已经有三个大版本，每个版本下都有架构方面的调整。 在hadoop1.0中有一些弊端，比如hdfs
分类：
其他好文 时间：
2018-06-17 13:36:15
阅读次数：
189
1、准备： centos 6.5 jdk 1.7 Java SE安装包下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html maven3.3.9 ...
分类：
其他好文 时间：
2018-06-15 20:04:09
阅读次数：
372
主机角色分配：NameNode、DFSZKFailoverController角色oversea-stable、bus-stable；需要安装软件有：JDK、Hadoop2.7.1nod3主机角色分配：ResourceManager；需要安装软件有：JDK、Hadoop2.7.1node4、node5、node6主机角色分配：JournalNode、DataNode、NodeManager、Quo
分类：
Web程序 时间：
2018-06-15 15:44:53
阅读次数：
234
环境: centos6 32位 hadoop2.8.4 jdk1.8（此版本运行hadoop时会警告可无视）hadoop用户(非root普通用户) 主机ip：10.10.10.10 slave主机ip：20.20.20.20 请务牢记上述环境！！！ 另外除非表明使用root用户外，皆用hadoop用 ...
分类：
其他好文 时间：
2018-06-14 23:16:07
阅读次数：
263
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到window... ...
分类：
其他好文 时间：
2018-06-08 14:14:20
阅读次数：
182
