问题： 为了测试方便所以在win7下部署了伪分布式hadoop运行环境，但是部署结束后在命令行运行hadoop命令创建一个用户文件目录时出现了一下情况： 系统找不到指定的批标签- make_command_arguments 解决方案： 出现问题之后重新梳理了一下部署方案并没有发现什么问题，然后就在 ...
一、本文说明：本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署，配置非常类似于伪分布式，名称节点和数据节点都分布在不同的主机上，每台数据节点上都有相应的任务调度。二、环境说明：虚拟软件：VM10.0操作系统：CentOs6.7hadoop版..
分类：
其他好文 时间：
2016-04-14 22:44:22
阅读次数：
262
1.在spark的伪分布式环境下安装HBASE (1)版本：我使用的spark版本是1.3.0，使用的hbase版本是hbase-0.94.3 (2)解压，tar zxvf hbase-0.94.3.tar.gz 到我的目录中，我的目录使用的 (3)配置环境变量 vim /etc/profile ( ...
分类：
其他好文 时间：
2016-04-14 12:03:22
阅读次数：
132
一、本文说明：
本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使
用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机..
分类：
其他好文 时间：
2016-04-13 21:01:18
阅读次数：
452
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，搭建Hadoop的运行环境主要分为三种：独立模式环境、伪分布式环境、完全分布式环境。一、独立模式：也叫单机模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地..
分类：
其他好文 时间：
2016-04-13 00:43:24
阅读次数：
143
1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3关闭防火墙的自动运行 执行命令 chkconfig iptab ...
分类：
其他好文 时间：
2016-04-07 20:28:57
阅读次数：
133
第一阶段：hadoop的伪分布式安装 第二阶段：mahout的安装 第三阶段：20newsgroups的bayes算法测试 注意：安装完vmwaretools必须重启centos才可以生效第一阶段：hadoop的伪分布式安装 1.JDK的安装 1.1解压hadoop安装包卸载hadoop自带的jdk ...
分类：
编程语言 时间：
2016-04-03 20:25:12
阅读次数：
365
Spark执行模式 Spark 有非常多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则执行在集群中，眼下能非常好的执行在 Yarn和 Mesos 中。当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，假设企业已经有 Yarn ...
分类：
其他好文 时间：
2016-03-31 14:12:30
阅读次数：
351
粗略算算，从上周五到这周二，折腾Hadoop已经三天了。这三天我是过得诚惶诚恐，作为一个学徒，老大虽然没有说啥，但是我恨不得立马完成这些基本的部署工作，感觉拖了好久好久。简单的总结一下，第一天折腾Hadoop单机和伪分布式的安装，第二天在折腾Hive的安装，以失败告终，第三天折腾HBase的集群安装 ...
分类：
其他好文 时间：
2016-03-29 23:58:21
阅读次数：
374
一、导读 最近开始学习大数据分析，说到大数据分析，就必须提到Hadoop与Spark。要研究大数据分析，就必须安装这两个软件，特此记录一下安装过程。Hadoop使用V2版本，Hadoop有单机、伪分布式、分布式三种部署方案，这里使用分布式部署方案。而Spark有三种部署方案：Standalone, ...
分类：
其他好文 时间：
2016-03-29 16:18:01
阅读次数：
299
