因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建....
说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~
准备环境:
不用多...
最近在考虑分布式环境下配置中心实现。
对于配置中心很难设计。
光用Zookeeper吧,发现一是跨语言支持不好,需要大量跨语言支持的开发,而且没办法在上面增加大量的算法和逻辑。
如果在Zookeeper前面加一层服务的话,又怕成为单点压力。
下面是我画的一个架构图,希望大家帮忙看看,踊跃讨论。...
分类:
其他好文 时间:
2014-08-01 02:28:51
阅读次数:
244
Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置
单节点:一个broker的集群单节点:多个broker的集群多节点:多broker集群
一、单节点单broker实例的配置
1.首先启动zookeeper服务
Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例,用下面这个命令即可,首先进入Kafka的安装...
分类:
其他好文 时间:
2014-07-31 20:59:27
阅读次数:
334
先丢点问题小结到这里,免得忘记,有空再弄个详细教程完,网上的教程要不就是旧版的,要不就是没说到点子上,唉。1.服务器禁用ipV6配置.2.找不到winutils.exe,系统变量设置了HADOOP_HOME也不行,程序中直接设定环境变量,还能省去系统配置,更方便。System.setProperty...
分类:
其他好文 时间:
2014-07-31 20:38:17
阅读次数:
218
Slots是Hadoop的一个重要概念。然而在Hadoop相关论文,slots的阐述难以理解。网上关于slots的概念介绍也很少,而对于一个有经验的Hadoop开发者来说,他们可能脑子里已经理解了slots的真正含义,但却难以清楚地表达出来,Hadoop初学者听了还是云里雾里。我来尝试讲解一下,以期...
分类:
其他好文 时间:
2014-07-31 20:17:27
阅读次数:
209
(1)我的电脑环境
(2)jdk1.6的安装
由于Ubuntu12.04自带了openjdk6,所以,在终端输入java -version后会现实如下提示:
表示jdk已经安装完成了。接下来是配置环境变量。
openjdk6的安装目录是在/usr/lib/jvm下
(3)设置环境变量
#set Java Environment
export JAVA_HOM...
分类:
其他好文 时间:
2014-07-31 17:00:57
阅读次数:
228
本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题:
什么是HBase?何时用HBase?与Hive、Pig的区别?HBase的结构为何HBase速度很快?HBase常用的操作有哪些?HBase的一些配置和监控
什么是HBase?
HBase,是Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉...
分类:
其他好文 时间:
2014-07-31 16:59:07
阅读次数:
271
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么,为什么要学习Hadoop?Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hado...
分类:
其他好文 时间:
2014-07-31 16:35:06
阅读次数:
177
1.环境工具版本介绍centos6.4(Final)jdk-7u60-linux-i586.gzhadoop-1.1.2.tar.gzsqoop-1.4.3.bin__hadoop-1.0.0.tar.gzmysql-5.6.11.tar.gz2.安装centos参照网上Ultra的使用制作了U盘启动,直接格式化安装系统,具体做法网上资料很多,但注意最好不要在安装时改主机名称,也最..
分类:
其他好文 时间:
2014-07-31 13:40:27
阅读次数:
264