Cygwin介绍： Cygwin是一个在windows平台上执行的类UNIX模拟环境。它对于学习UNIX/Linux操作环境，或者从UNIX到Windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用GNU工具集在Windows上进行嵌入式系统开发，很实用。 由于要学习hadoop分布式文 ...
文件夹 文件夹 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 暂时改动主机名 3 2.2.2. 永久改动主机名 3 2.3. 免password登录范围 4 3. 约定 4 3.1. 安装文件夹约定 4 3.2. 服务port约定 5 4. 工作详单 ...
分类：
其他好文 时间：
2017-04-29 11:59:23
阅读次数：
273
1、上传2、解压 3、重命名 4、配置hadoop环境变量5、修改配置文件5.1、编辑hadoop-env.sh，修改JAVA_HOME 5.2、编辑core-site.xml修改如下 5.3、修改hdfs-site.xml，如下 5.4、修改mapred-site.xml，如下 5.4、修改yar ...
分类：
其他好文 时间：
2017-04-25 11:44:35
阅读次数：
143
7,在SparkWorker1和SparkWorker2上完毕和SparkMaster相同的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容复制到SparkWorker1和SparkWorker2上; 8,启动并验证Hadoop分布式集群 ...
分类：
其他好文 时间：
2017-04-16 22:43:15
阅读次数：
231
Ambari 是 Apache Software Foundation 的一个顶级开源项目，是一个集中部署、管理、监控 Hadoop 分布式集群的工具。但是这里的 Hadoop 是一个广义概念，并不仅仅指的是 Hadoop（HDFS、MapReduce），而是指 Hadoop 生态圈（包括 Spar ...
分类：
其他好文 时间：
2017-04-13 19:19:39
阅读次数：
446
HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据訪问模式来存储超大文件（一次写入、多次读取）。 HDFS具有例如以下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都有P ...
分类：
其他好文 时间：
2017-04-13 10:52:29
阅读次数：
251
一、首先是搞好master 1、创建用户组 groupadd hadoop 添加一个组 useradd hadoop -g hadoop 添加用户 2、jdk的安装 这里安装的版本是jdk-7u9-linux-i586.tar.gz ，使用 tar -zsvf jdk-7u9-linux-i586. ...
分类：
其他好文 时间：
2017-04-07 14:42:06
阅读次数：
163
Hadoop分布式文件系统设计要点与架构Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS..
分类：
其他好文 时间：
2017-04-04 17:56:28
阅读次数：
274
Ambari是在Hadoop大数据生态圈的基础上应运而生，Ambari的架构也借助了分布式的思想，细细品味，与Hadoop分布式架构有很多相似之处。 Hadoop中单NN 与多DN的通信是借助netty封装的RPC机制实现，单Ambari server与多Agent通信则是基于restful api ...
分类：
其他好文 时间：
2017-03-24 22:44:41
阅读次数：
281
我只有一台机器，是因为要配置hadoop分布式环境用，需要配置ssh 两个用户: zhangxs, root 首先在切换到zhangxs用户下 执行【 ssh-keygen -t rsa】 【cp id_rsa authorized_keys】 复制文件 【ssh localhost】 以ssh方式 ...
分类：
其他好文 时间：
2017-03-19 17:34:38
阅读次数：
448
