1.MapReduce的介绍： MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 MapReduce大体上分三个部分： -MRAppMaster：MapReduceApplicationMaster，分配任务，协调任务
分类：
其他好文 时间：
2019-01-11 20:41:52
阅读次数：
204
hadoop集群搭建前的准备（一定要读）：http://blog.51cto.com/14048416/2341450hadoop分布式集群搭建：1.集群规划：2.具体步骤：（1）上传安装包，并解压到相关目录：[hadoop@hadoop01home]$putc:/hadoop-2.6.5-centos-6.7.tar.gz[hadoop@hadoop01home]$tar-zxvfhadoop-
分类：
其他好文 时间：
2019-01-11 14:18:29
阅读次数：
217
1.修改主机名：[root@localhosthome]#sudovi/etc/sysconfig/network修改主机名：2.设置系统默认启动级别：[root@localhosthome]#vi/etc/inittab改默认启动级别，3是多用户模式，并且不启动图形界面3.配置hadoop用户sudoer权限：这里使用普通用户hadoop，对Linux进行操作：创建hadoop用户：[root@
分类：
其他好文 时间：
2019-01-11 12:11:24
阅读次数：
222
1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
这里是大数据小白系列，这是本系列的第四篇，来看一个真实世界Hadoop集群的规模，以及我们为什么需要Hadoop Federation。 ...
分类：
其他好文 时间：
2018-12-29 13:33:26
阅读次数：
209
<! vscode markdown toc "安装" "配置" "概念" "hadoop常用shell命令" "使用java操作hadoop" <! vscode markdown toc config numbering=false autoSave=false /vscode markdown ...
分类：
编程语言 时间：
2018-12-28 22:22:04
阅读次数：
213
【参考文章】：hadoop集群搭建（hdfs） 1. Hadoop下载 官网下载地址： https://hadoop.apache.org/releases.html，进入官网根据自己需要下载具体的安装包 清华大学安装包的镜像文件下载地址： https://mirrors.tuna.tsinghua ...
分类：
其他好文 时间：
2018-12-28 20:43:44
阅读次数：
204
一、说明 二、系统环境搭建 1、网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录 1．产生公钥和私钥：ssh-keygen -t rsa （一直回车直即可） 2．将公钥分发给所有节点（包括本机)： ssh-copy-id -i 主机名 ...
分类：
其他好文 时间：
2018-12-24 02:44:31
阅读次数：
180
1、在做格式化时，/bin/hdfs namenode -format出错：ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority compo ...
分类：
其他好文 时间：
2018-12-20 20:29:22
阅读次数：
214
1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点NN=NameNode（名称节点）SND=SecondaryNameNode（NameNode的辅助节点）DN=DataNode（数据节点）2
分类：
其他好文 时间：
2018-12-18 13:58:09
阅读次数：
195
