Hadoop平台搭建有三种模式，分别是单机模式、伪分布模式、完全分布模式。单机模式是在单一计算机或者服务器上运行Hadoop，没有分布式的文件上传和任务分配等功能。它执行的流程仍然是Map/Reduce，但是是文件和程序都在本机上，可以看成只有一个节点的Hadoop平台。伪分布模式也是单一计算机.....
分类：
系统相关 时间：
2015-07-08 12:25:53
阅读次数：
173
Hadoop是用作处理大数据用的，核心是HDFS、Map/Reduce。虽然目前工作中不需要使用这个，但是，技多不压身，经过虚拟机很多遍的尝试，终于将Hadoop2.5.2的环境顺利搭建起来了。 ? ? ? ?首先准备一...
分类：
其他好文 时间：
2015-07-07 17:17:53
阅读次数：
114
Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0开发环境
在Win7 环境使用Java API 上传文件到 Hadoop2.x HDFS 问题统计
分类：
编程语言 时间：
2015-07-06 19:47:15
阅读次数：
113
使用环境：centos6.5+eclipse(4.4.2)+hadoop2.7.01、下载eclipse hadoop 插件 hadoop-eclipse-plugin-2.7.0.jar 粘贴到eclipse 目录下的plugins下重新启动eclipse2、选择eclipse里面的windows...
分类：
系统相关 时间：
2015-07-05 21:05:54
阅读次数：
148
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeCho...
分类：
其他好文 时间：
2015-07-01 17:33:31
阅读次数：
161
导读内容：
1.如何通过web查看hdfs集群状态
2.如何通过web查看运行在在主节点master上ResourceManager状态
3.如何通过web查看运行在在slave节点NodeManager资源状态
4.JobHistory 可以查看什么信息
分类：
Web程序 时间：
2015-07-01 15:39:47
阅读次数：
167
1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成， Master 192.168.0.182 Slave1 192.168.0.183 Slave2 192.168.0.184 2、SSH免密码登录...
分类：
其他好文 时间：
2015-07-01 12:33:33
阅读次数：
429
学习DDL语句创建对象的语句Create/Drop/Alter DatabaseCreate DatabaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=pro...
分类：
其他好文 时间：
2015-06-30 22:09:28
阅读次数：
282
安装Mahout之前，一定要把hadoop装好，hadoop的安装方法可以参考我的前一篇随笔，我安装的是hadoop2.7.0，具体方法在此不做介绍。1.首先下载相应版本的Mahout:axel -n 10 http://archive.apache.org/dist/mahout/0.9/maho...
分类：
其他好文 时间：
2015-06-30 20:05:53
阅读次数：
220
