刚才利用hadoop和mahout运行kmean是算法,一开始利用了10个节点,一个master,9个slave,运行了7分钟,我为了看速度的变化,就改用伪分布的形式,但是一开始运行就报错了: 意思就是针对文件块block,没有可用的节点,我一开始以为是节点没=没有启动,但是后来看了一下webUI, ...
分类:
其他好文 时间:
2017-04-08 12:09:21
阅读次数:
382
Zookeeper 可以通过配置不同的配置文件启动 部署环境:CentOS 6.7 Zookeeper 路径: /opt/htools/zookeeper-3.4.6 操作步骤: 1 复制三份zoo.cfg 配置文件,依次命名为 zoo1.cfg zoo2.cfg zoo3.cfg, 之后分别编辑其 ...
分类:
其他好文 时间:
2017-03-31 00:49:03
阅读次数:
241
1.安装和配置JDK 具体操作见笔记 http://www.cnblogs.com/DreamDriver/p/6597178.html 2.创建Hadoop用户 为Hadoop创建一个专门的用户,可以在系统安装的时候就创建,也可以在系统安装好之后用如下命令创建: # groupadd hadoop ...
分类:
其他好文 时间:
2017-03-21 23:58:10
阅读次数:
339
伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例。但是,该实例只能为单机或伪分布模式下的HBase提供服务。 若是分布式模式,则需要配置自己的Zookeeper集群。如 ...
分类:
其他好文 时间:
2017-03-15 13:38:18
阅读次数:
279
伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例。但是,该实例只能为单机或伪分布模式下的HBase提供服务。 若是分布式模式,则需要配置自己的Zookeeper集群。如 ...
分类:
其他好文 时间:
2017-03-15 13:32:32
阅读次数:
198
转载:https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper-code/ 本文首先讲解了 Apache ZooKeeper 服务启动的三种方式,即 Standalone、伪分布式、分布式。然后针对分布式模式启动步骤进行逐步介绍 ...
分类:
Web程序 时间:
2017-03-14 10:45:16
阅读次数:
356
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 1.修改主机名和用户名 修改主机名:Centos中通过v ...
分类:
其他好文 时间:
2017-02-26 19:33:33
阅读次数:
241
检查发现是DataNode一直连接不到NameNode。 检查各个节点在etc/hosts中的配置是否有127.0.1.1 xxxxxx。如果有把其屏蔽或者删除,重启各节点即可。 原因:127.0.1.1是debian中的本地回环。这个造成了hadoop解析出现问题。这个设置应该是在做伪分布式的ha ...
分类:
Web程序 时间:
2017-02-25 12:25:15
阅读次数:
154
本文借鉴http://www.cnblogs.com/guozhen/p/5984915.html,在此基础上进行了完善,使之成为一个完整版的伪分布式部署说明,在此记录一下! 一、本文目的 介绍如何在同一台虚拟机上搭建高可用的Activemq服务,集群数量包含3个Activemq,当Activemq ...
分类:
其他好文 时间:
2017-02-22 16:27:02
阅读次数:
494
在本篇文章中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面。搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境,搭建Hadoop环境请参考:【Hadoop入门基础教程】4、Hadoop之完全分布式环境搭建 开发环境 硬件环境 ...
分类:
其他好文 时间:
2017-02-15 16:16:47
阅读次数:
210