一、hadoop yarn 简介 二、YARN架构 1. ResourceManager 2. NodeMa ...
分类：
其他好文 时间：
2019-06-30 09:24:19
阅读次数：
178
修改内核参数 文件系统限制 为了避免集群中的任何文件描述符错误，需要增加单个用户或者进程一次打开文件数量的限制 [root@test ~]# ulimit -Sn //最大文件数软限制1024[root@test ~]# ulimit -Hn //最大文件数硬限制 4096 [root@test ~ ...
分类：
其他好文 时间：
2019-06-27 00:55:05
阅读次数：
117
1.Hue 概述及版本下载 1）概述 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行 ...
分类：
其他好文 时间：
2019-06-18 14:26:51
阅读次数：
159
一。MapReduce概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 1.1 为什么要MapRedu ...
分类：
其他好文 时间：
2019-06-12 01:06:24
阅读次数：
120
终于开始学习hadoop了，虽然是学校开课了才开始跟着学校的课程学，至少也是开始了。首先要做的就是搭建好一个hadoop的环境，需要三台主机，配置一个master两个slave的架构。老师让我们用vbox来做，但是个人觉得虚拟机太慢了，而且还要开三个，太亏。刚好最近开始接触docker，准备就在do ...
分类：
其他好文 时间：
2019-06-10 18:35:43
阅读次数：
95
安装前提 已安装并配置了Hadoop集群（单机或者全分布都行） 软件下载 Hive官网：https://hive.apache.org/index.html Hive安装 配置环境变量 将下载的Hive包上传到机器中，解压到指定路径 编辑 /etc/profile，配置Hive的环境变量 使环境配置 ...
分类：
其他好文 时间：
2019-06-09 09:37:28
阅读次数：
102
条件 1.启动mysql service mysqld start 2.启动hadoop集群 start-all.sh 1.下载jar包（：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/） 2.上传安装包sqoop-1.4.6.bin__hadoop-2 ...
分类：
其他好文 时间：
2019-06-06 15:32:56
阅读次数：
83
：一、安装jdk环境（前提） 二、安装hadoop（hadoop-2.7.7.tar.gz） 1. 角色分配（3节点搭建） node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类：
其他好文 时间：
2019-06-05 23:35:35
阅读次数：
111
使用腾讯云主机，docker构建集群测试环境。 环境 1、操作系统： CentOS 7.2 64位 网路设置 hostname | IP | cluster master | 172.18.0.2 cluster slave1 | 172.18.0.3 cluster slave2 | 172.18 ...
分类：
其他好文 时间：
2019-06-04 19:23:34
阅读次数：
82
一、简介 NAT网络模式： 1. 宿主机可以看做一个路由器，虚拟机通过宿主机的网络来访问 Internet； 2. 可以安装多台虚拟机，组成一个小型局域网，例如：搭建 hadoop 集群、分布式服务。 二、配置 1. VMnet8 设置静态 IP 2. Ce ...
分类：
Web程序 时间：
2019-06-02 23:01:33
阅读次数：
324
