本文描述将一个简单的HelloWorld,提交到JStorm中运行。
1. 创建Maven工程
在Eclipse中创建Maven工程,默认方式创建即可。修改pom.xml文件:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xs...
分类:
Web程序 时间:
2014-12-08 09:23:11
阅读次数:
577
出自:http://my.oschina.net/jinp/blog/350293一些常用命令:storm相关:storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类:
Web程序 时间:
2014-12-08 00:45:15
阅读次数:
346
一、前言任务调度管理作为基础架构通常会出现于我们的业务系统中,目的是让各种任务能够按计划有序执行。比如定时给用户发送邮件、将数据表中的数据同步到另一个数据表都是一个任务,这些相对耗时的操作通过任务调度系统来异步并行执行,既能提高任务的执行效率又能保障任务执行的可靠性。实现的方式也是多种多样,比如使用...
分类:
其他好文 时间:
2014-12-05 21:10:45
阅读次数:
363
服务器虚拟化越来越不受青睐,但是只要服务器虚拟化一直流行下去,就得确定适合虚拟化的服务器类型。遗憾的是,一直没有在任何情况下都成立的明确答案。但这里有一些原则可以用来判断服务器是否适合虚拟化。Hypervisor的支持性及限制性我建议首先要考虑的一个标准就是可支持性..
分类:
其他好文 时间:
2014-12-05 19:35:54
阅读次数:
170
最近看了比较多的关于大数据处理方面的知识,但是例如Hadoop,Spark,Storm等平台大都是对于数据的存储和管理操作,并不是对于数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理,数据挖掘。学习数据挖掘也非常偶然,首先毕竟本人一直在做的是数据方面的工作,数据挖掘相当于是对数据处理后的下一步操作,学习一下数据挖掘的基本知识,了解了解常用的一些数据挖掘算法,对我来说也是一件不错的事。...
分类:
其他好文 时间:
2014-12-05 17:27:05
阅读次数:
151
先整体介绍一下搭建storm集群的步骤:
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zo...
分类:
其他好文 时间:
2014-12-05 17:26:26
阅读次数:
206
安装RAC并不难,难就难在前期的实施规划上,根据用户需求采购了硬件之后,我们需求在实施之前做好详细的规划,这就包括主机规划、SAN交换机规划、存储柜规划、ORACLE数据库软件规划等,要将整个软硬件融为一体,充分考虑RAC系统的安全性,可靠性,可用性等因素,始终记住一个规..
分类:
数据库 时间:
2014-12-05 11:00:55
阅读次数:
469
Goal
Keystone Region 为跨地域的 Openstack 集群提供了统一的认证和用户租户管理。目前公司在国内外部署了数十套 Openstack 集群,其中既有集群在内网,又有集群在公网;既有 Havana 集群,也有 Icehouse 集群;既有 nova-network 集群,又有 Neutron 集群,如下图:...
分类:
其他好文 时间:
2014-12-05 00:48:43
阅读次数:
667
本文主要分析storm的worker进程间消息传递机制,消息的接收和处理的大概流程见下图在Storm中,worker进程内部的thread通信与worker进程间的通信有一些差别,worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。work..
分类:
系统相关 时间:
2014-12-04 15:57:44
阅读次数:
202
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理...
分类:
数据库 时间:
2014-12-04 12:21:39
阅读次数:
236