一：什么是ApacheHadoop呢？ 首先来说Hadoop是一种分析和处理大数据的软件平台。是Apache的一个用Java语言所实现的开源软件的框架。 在大量计算机组成的集群当中实现了对于海量的数据行 的分布式计算。下面呢给大家用一句话描述一下。 二：文件存储 1、HDFS(Hadoop分布式文件 ...
分类：
其他好文 时间：
2018-11-16 23:36:01
阅读次数：
260
hadoop 一, Hadoop 分布式 简介Hadoop 是分布式的系统架构，是 Apache 基金会顶级金牌项目 分布式是什么？学会用大数据的思想来看待和解决问题 思 想很重要 1-1 、Hadoop 的思想之源：来自于 Google 03 年发布 3 大论文， GFS、MapReduce、Bi ...
分类：
其他好文 时间：
2018-11-01 13:34:15
阅读次数：
218
环境搭建 CentOS集群搭建 写在前面 最近有许多小伙伴问我，大数据的hadoop分布式集群该如何去搭建。所以，想着，就写一篇博客，帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤，很详细的。你很快就会有一个自己的hadoop集群啦。 我是在自己的wi ...
分类：
其他好文 时间：
2018-10-31 15:50:49
阅读次数：
170
环境：CentOS7.5192.168.11.205test2192.168.11.206test3192.168.11.207test4-8g设置host#vim/etc/hosts192.168.11.205test2192.168.11.206test3192.168.11.207test4-8安装jdk(三个节点都需要)https://www.oracle.com/technetwork/
分类：
其他好文 时间：
2018-10-30 18:46:07
阅读次数：
155
介绍 Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDF ...
分类：
其他好文 时间：
2018-10-26 14:22:19
阅读次数：
89
1、环境 操作系统：ubuntu16 jdk：1.8 hadoop：2.9.1 机器：3台，master：192.168.199.88，node1：192.168.199.89，node2：192.168.199.90 2、搭建步骤 2.1 修改主机名hostname，三台机器分别执行如下命令，依次 ...
分类：
其他好文 时间：
2018-10-04 09:46:21
阅读次数：
177
1.首先将运行在本地上的 zookeeper 给停止掉 2.到/opt/softwares 目录下 将 zookeeper解压到 /opt/app 目录下 命令: tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件 将文件 zoo_sampl ...
分类：
其他好文 时间：
2018-09-30 14:52:22
阅读次数：
174
What is Zookeeper 是一个开源的分布式的，为分布式应用提供协作服务的Apache项目 提供一个简单的原语集合，以便与分布式应用可以在他之上构建更高层次的同步服务 设计非常简单易于编程，他使用的是类似于文件系统那样的树形数据结构。 目的就是将分布式服务不再需要有协作冲突而另外实现协作服 ...
分类：
其他好文 时间：
2018-09-30 12:42:50
阅读次数：
194
1.对 hadoop 进行格式化 到 /opt/app/hadoop-2.5.0 目录下 执行命令： bin/hdfs namenode -format 执行的效果图如下 ( 下图成功 格式化 不要没事格式化 ) 2.启动dfs 执行命令(在 /opt/app/hadoop-2.5.0/目录下): ...
分类：
其他好文 时间：
2018-09-29 22:04:57
阅读次数：
175
******************* 一定要使这三台机器的用户名相同，安装目录相同 ************* SSH 无密钥登录的简单介绍（之前再搭建本地伪分布式的时候，就生成了，现在这三台机器的公钥私钥都是一样的，所以下面这个不用配置） 单机操作： 生成密钥：命令 ssh-keygen -t ...
分类：
其他好文 时间：
2018-09-29 21:36:07
阅读次数：
229
