一、相关配置文件修改①修改core-site.xml:$su-lhadoop
$cd/usr/local/hadoop/
$sudovietc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</co..
分类：
其他好文 时间：
2016-04-21 11:59:39
阅读次数：
172
0.前言hadoop总共有三种运行方式。本地模式（Local (Standalone) Mode），伪分布式（Pseudo-Distributed Mode），分布式（Fully-Distributed Mode）。后面足一讲解搭建本地以及伪分布式，分布式读者自行搭建。
参考资料（官网为主，网络资料为铺）：
http://hadoop.apache.org/docs/r2.6.4/hadoop-...
分类：
其他好文 时间：
2016-04-17 22:44:17
阅读次数：
138
0.前言本文参考博客：http://www.51itong.net/eclipse-hadoop2-7-0-12448.html
搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客：
http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址：http://www.eclipse.org/downlo...
分类：
系统相关 时间：
2016-04-17 22:43:52
阅读次数：
467
问题： 为了测试方便所以在win7下部署了伪分布式hadoop运行环境，但是部署结束后在命令行运行hadoop命令创建一个用户文件目录时出现了一下情况： 系统找不到指定的批标签- make_command_arguments 解决方案： 出现问题之后重新梳理了一下部署方案并没有发现什么问题，然后就在 ...
一、本文说明：本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署，配置非常类似于伪分布式，名称节点和数据节点都分布在不同的主机上，每台数据节点上都有相应的任务调度。二、环境说明：虚拟软件：VM10.0操作系统：CentOs6.7hadoop版..
分类：
其他好文 时间：
2016-04-14 22:44:22
阅读次数：
262
1.在spark的伪分布式环境下安装HBASE (1)版本：我使用的spark版本是1.3.0，使用的hbase版本是hbase-0.94.3 (2)解压，tar zxvf hbase-0.94.3.tar.gz 到我的目录中，我的目录使用的 (3)配置环境变量 vim /etc/profile ( ...
分类：
其他好文 时间：
2016-04-14 12:03:22
阅读次数：
132
一、本文说明：
本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使
用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机..
分类：
其他好文 时间：
2016-04-13 21:01:18
阅读次数：
452
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，搭建Hadoop的运行环境主要分为三种：独立模式环境、伪分布式环境、完全分布式环境。一、独立模式：也叫单机模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地..
分类：
其他好文 时间：
2016-04-13 00:43:24
阅读次数：
143
第一阶段：hadoop的伪分布式安装 第二阶段：mahout的安装 第三阶段：20newsgroups的bayes算法测试 注意：安装完vmwaretools必须重启centos才可以生效第一阶段：hadoop的伪分布式安装 1.JDK的安装 1.1解压hadoop安装包卸载hadoop自带的jdk ...
分类：
编程语言 时间：
2016-04-03 20:25:12
阅读次数：
365
Spark执行模式 Spark 有非常多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则执行在集群中，眼下能非常好的执行在 Yarn和 Mesos 中。当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，假设企业已经有 Yarn ...
分类：
其他好文 时间：
2016-03-31 14:12:30
阅读次数：
351
