1 hadoop启动方式（三种） 1.1 各个服务组件逐一启动 *dfs hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode *yarn yarn-daemon.sh start|stop resourcemanager|n ...
分类：
其他好文 时间：
2016-08-08 19:26:36
阅读次数：
178
在 《Docker中搭建Hadoop-2.6单机伪分布式集群》中在容器中操作来搭建伪分布式的Hadoop集群，这一节中将主要通过Dokcerfile 来完成这项工作。 1 获取一个简单的Docker系统镜像,并建立一个容器。 1.1 这里我选择下载CentOS镜像 1.2 通过docker tag命 ...
分类：
其他好文 时间：
2016-08-07 00:48:07
阅读次数：
152
一、准备工作 （1）Hadoop2.7.2 在linux部署完毕，成功启动dfs和yarn，通过jps查看，进程都存在 （2）安装maven 二、最终效果 在windows系统中，直接通过Run as Java Application运行wordcount，而不需要先打包成jar包，然后在linux ...
分类：
移动开发 时间：
2016-08-05 06:34:40
阅读次数：
2207
1.伪分布式hdfs文件系统的搭建（单节点文件系统） 1.1.根据上节的讲解，配置主机映射、jdk和解压hadoop压缩包 1.2.配置namenode 在/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml中配置一下内容 <!--配置namenode ...
分类：
其他好文 时间：
2016-08-03 20:22:55
阅读次数：
262
1.给普通用户设置sudo权限 编辑:[root@life-hadoop /]# nano /etc/sudoers 在文件头部加入：yanglin ALL=(root)NOPASSWD:ALL 保存退出接口 2.配置主机映射 1.修改主机名称 /etc/sysconfig/network 2.在/ ...
分类：
其他好文 时间：
2016-08-03 15:05:53
阅读次数：
180
scala> val textFile = sc.textFile("/Users/admin/spark-1.5.1-bin-hadoop2.4/README.md") scala> val topWord = textFile.flatMap(_.split(" ")).filter(!_.is ...
分类：
系统相关 时间：
2016-08-02 22:17:22
阅读次数：
233
1、安装完spark，进入spark中bin目录: bin/spark-shell scala> val textFile = sc.textFile("/Users/admin/spark/spark-1.6.1-bin-hadoop2.6/README.md") scala> textFile. ...
分类：
系统相关 时间：
2016-08-02 22:16:25
阅读次数：
256
大数据开发基础上之图说笔记 1、Hadoop2概览 1.1Hadoop2的组成、演化： 1.2Hadoop2.0——Hadoop1.0演化与改进： 2、HDFS系统概览 2.1HDFS系统的主要特性与适用场景： 2.2HDFS的体系结构： 2.3HDFS的构成 2.4HDFS的读流程： 2.5HDF ...
分类：
其他好文 时间：
2016-07-31 14:29:27
阅读次数：
126
一.系统环境
Windows7、Ecplise 4.4.0,Hadoop2.7.2
Hadoop安装教程请看:Hadoop2.7.2安装教程
二.安装步骤
1.安装hadoop插件
下载hadoop-eclipse-plugin-2.7.2.jar(点击下载)，并且拷贝到eclipse根目录下/dropins下
2.启动myeclipse，打开Perspective：
【Window...
注：未完待续……持续更新中…… 目录 第一步、 先在配置Vmware NAT网络... 3 一、 Vmware网络模式介绍... 3 二、 NAT模式配置... 3 第二步、 安装Linux操作系统... 5 三、 Vmware上安装Linux系统... 5 四、 设置网络... 10 五、 修改H... ...
分类：
其他好文 时间：
2016-07-19 18:36:21
阅读次数：
274
