Storm集群类似于一个Hadoop集群。 然而你在Hadoop的运行“MapReduce job”，在Storm上你运行 “topologies”。 “job”和“topologies”本身有很大的不同，其中一个关键的区别是，MapReduce的工作最终完成，而topologies处理消息永远.....
分类：
其他好文 时间：
2015-09-21 10:29:46
阅读次数：
168
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-09-19 08:31:57
阅读次数：
230
转载自http://blog.fens.me/zookeeper-queue/让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘...
分类：
其他好文 时间：
2015-09-15 12:29:03
阅读次数：
252
前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...
分类：
其他好文 时间：
2015-09-13 21:43:11
阅读次数：
386
Hive 起源于FaceBook,Hive在Hadoop中扮演数据仓库的角色。建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口进行操作。你可以用?HiveQL进行select,join,等等操作。 如果你有数据仓库的需求并且...
分类：
其他好文 时间：
2015-09-10 14:29:34
阅读次数：
226
（大讲台：国内首个it在线教育混合式自适应学习）1.Hadoop集群可以运行的3个模式单机（本地）模式伪分布式模式全分布式模式2.单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开...
分类：
其他好文 时间：
2015-09-08 12:24:12
阅读次数：
173
一.hadoop集群环境配置 参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html） 但本人配置时还修改了如下内容(由于你的环境和我的可能不一致，可以在后面出现相关问题后再进....
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。1、Hadoop集群配置过程略；2、Zookeeper集群配置过程略；3、HBase集群配置过程略；
分类：
其他好文 时间：
2015-09-04 14:27:39
阅读次数：
266
历史上超级详细，超级解说步骤，让你在一个小时内安装出属于自己的高可靠，高性能的Hadoop集群。...
分类：
其他好文 时间：
2015-08-27 13:33:10
阅读次数：
120
前两天和一个朋友在聊天的时候说，很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上，原因吗无在乎：1，没有很好的电脑配置，不能像机房一样用多台电脑搭建起集群；2，对linux的不熟悉，各种小黑窗，linux命令……；3，环境搭建的反锁步骤，需要耐心+细心+认真等等吧。不过吗，我觉的，只要敢于坚持，敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进...
分类：
其他好文 时间：
2015-08-27 02:15:00
阅读次数：
282
