一、简介 NAT网络模式: 1. 宿主机可以看做一个路由器,虚拟机通过宿主机的网络来访问 Internet; 2. 可以安装多台虚拟机,组成一个小型局域网,例如:搭建 hadoop 集群、分布式服务。 二、配置 1. VMnet8 设置静态 IP 2. Ce ...
分类:
Web程序 时间:
2019-05-23 16:51:07
阅读次数:
423
做demo前需要先搭建Hadoop集群,并且有linux基础,可参考 https://www.cnblogs.com/linyufeng/p/10831240.html 1.引出问题 给一串数据,找出每年的每个月温度最高的2天。其中有可能包含着相同的数据。 2.分析 从肉眼去看,这么几条数据,人工也 ...
分类:
其他好文 时间:
2019-05-20 21:23:33
阅读次数:
148
You have to work very hard to believe that you are really powerless. Mac-搭建Hadoop集群 我用到了:VMware Fusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和ha ...
分类:
系统相关 时间:
2019-05-03 09:17:55
阅读次数:
179
hadoop集群支持动态扩展,不需要停止原有集群节点就可以实现新节点的加入。 我是使用docker搭建的进群环境,制作了镜像文件,这里以我的工作基础为例子介绍集群中添加集群的方法 一、制作一个新节点 1、为新节点搭建hadoop环境 如果是一般情况下,将一个新物理机添加到集群中,参照集群中其他节点, ...
分类:
其他好文 时间:
2019-04-26 11:24:41
阅读次数:
249
hadoop的基本概念伪分布式hadoop集群安装hdfs、MapReduce演示互联网正在从IT走向DT时代。大数据应用分析1、统计类的分析2、推荐类的分析3、机器学习(分类,聚类)4、人工智能、预测(算法)一、什么是hadoop官网:http://hadoop.apache.orghadoop是apache旗下的一套开源软件平台。是一个可靠的、可扩展的、可分布式计算的开源软件。apacheha
分类:
其他好文 时间:
2019-04-19 12:11:49
阅读次数:
176
今天启动hadoop集群的时候发现有两台机器起不起来,用jps命令报如下的错 大致说的是内存不够的意思,然后查了一下,用find / -type f -size +500M命令查看跟目录/下大于500兆的所有文件,结果如下: 看到都是kafka里面的的东西,直接cd /usr/local/kafka ...
分类:
编程语言 时间:
2019-04-16 11:53:34
阅读次数:
132
1.Hue 概述及版本下载 1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行 ...
分类:
其他好文 时间:
2019-04-15 18:02:18
阅读次数:
570
一、发行版本 ? Hadoop发行版本分为开源 社区版 和 商业版 ,社区版是指由Apache软件基金会维护的版本,是官方维护的版本体系。商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本,比较著名的有cloudera的CDH、 ...
分类:
其他好文 时间:
2019-04-14 16:33:00
阅读次数:
168