分布式架构是中心化的设计,就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据....
分类:
其他好文 时间:
2014-08-01 13:50:51
阅读次数:
230
因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建....
说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~
准备环境:
不用多...
先丢点问题小结到这里,免得忘记,有空再弄个详细教程完,网上的教程要不就是旧版的,要不就是没说到点子上,唉。1.服务器禁用ipV6配置.2.找不到winutils.exe,系统变量设置了HADOOP_HOME也不行,程序中直接设定环境变量,还能省去系统配置,更方便。System.setProperty...
分类:
其他好文 时间:
2014-07-31 20:38:17
阅读次数:
218
Slots是Hadoop的一个重要概念。然而在Hadoop相关论文,slots的阐述难以理解。网上关于slots的概念介绍也很少,而对于一个有经验的Hadoop开发者来说,他们可能脑子里已经理解了slots的真正含义,但却难以清楚地表达出来,Hadoop初学者听了还是云里雾里。我来尝试讲解一下,以期...
分类:
其他好文 时间:
2014-07-31 20:17:27
阅读次数:
209
(1)我的电脑环境
(2)jdk1.6的安装
由于Ubuntu12.04自带了openjdk6,所以,在终端输入java -version后会现实如下提示:
表示jdk已经安装完成了。接下来是配置环境变量。
openjdk6的安装目录是在/usr/lib/jvm下
(3)设置环境变量
#set Java Environment
export JAVA_HOM...
分类:
其他好文 时间:
2014-07-31 17:00:57
阅读次数:
228
本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题:
什么是HBase?何时用HBase?与Hive、Pig的区别?HBase的结构为何HBase速度很快?HBase常用的操作有哪些?HBase的一些配置和监控
什么是HBase?
HBase,是Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉...
分类:
其他好文 时间:
2014-07-31 16:59:07
阅读次数:
271
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么,为什么要学习Hadoop?Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hado...
分类:
其他好文 时间:
2014-07-31 16:35:06
阅读次数:
177
1.环境工具版本介绍centos6.4(Final)jdk-7u60-linux-i586.gzhadoop-1.1.2.tar.gzsqoop-1.4.3.bin__hadoop-1.0.0.tar.gzmysql-5.6.11.tar.gz2.安装centos参照网上Ultra的使用制作了U盘启动,直接格式化安装系统,具体做法网上资料很多,但注意最好不要在安装时改主机名称,也最..
分类:
其他好文 时间:
2014-07-31 13:40:27
阅读次数:
264
敏捷数据科学:用Hadoop创建数据分析应用(数据分析最佳实践入门敏捷大数据首作分步骤|全流程演示思路、工具与方法)【美】RussellJurney(拉塞尔·朱尔尼)著冯文中朱洪波译ISBN978-7-121-23619-82014年7月出版定价:49.00元184页16开编辑推荐对大数据的挖掘需要投入大量的人力..
分类:
其他好文 时间:
2014-07-31 03:19:17
阅读次数:
410