KafkaSpout的核心逻辑都是由PartitionManager来实现的。但是这个类实现时候需要考虑的东西有些多，0.92至0.93，至当前(2015.3.14)的master一直在变化。在这里，先分析一下最近的发布版0.93里的逻辑。也提出一些问题，希望以后Apache Storm会把这个类实...
分类：
Web程序 时间：
2015-03-14 21:41:36
阅读次数：
4178
使用flume收集数据，将数据传递给kafka和hdfs，kafka上的数据可以使用storm构建实时计算，而hdfs上的数据，经过MR处理之后可以导入hive中进行处理。 环境：hadoop1.2.1，hive 0.13.1，maven 3.2.5，flume 1.4，kafka 0.7.2，ec...
分类：
Web程序 时间：
2015-03-14 18:17:55
阅读次数：
4961
在日常开发中我们经常使用maven，但仓库中有时并未包含我们使用的jar文件，比如oracle的jdbc驱动，这时就需要我们手工安装才能正常进行开发，在此记录下这个简单过程：
1、首先要有一个oracle的jdbc驱动jar包
2、使用maven命令行安装该jar包，命令如下：
3、在pom文件中引入该依赖...
分类：
编程语言 时间：
2015-03-12 22:33:59
阅读次数：
309
1. Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态和监...
分类：
其他好文 时间：
2015-03-12 19:06:50
阅读次数：
171
Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)课程讲师：Cloudy课程分类：大数据适合人群：初级课时数量：28课时用到技术：Storm集群、Zookeeper集群等涉及项目：网站PV、UV案例实战、其他案例咨询qq：1840215592课程亮...
分类：
其他好文 时间：
2015-03-12 18:38:12
阅读次数：
311
storm的DRPC模式的作用是实现从远程调用storm集群的计算资源，而不需要连接到集群的某一个节点。OK。那么storm实现DRPC主要是使用LinearDRPCTopologyBuilder这个类。下面就先来看看一个简单的例子，它的源码的github上。import backtype.st.....
分类：
其他好文 时间：
2015-03-07 18:39:40
阅读次数：
201
Storm是一个Android SQLite数据库管理类库，可以通过注解创建表和迁移数据库。它不是ORM框架。特性：1、通过@Annotations创建表；2、通过@Annotations迁移数据库；3、接近于原生的SQLiteinsert、update、select操作的执行速度；4、不需要手工解...
分类：
移动开发 时间：
2015-03-06 16:58:34
阅读次数：
160
介绍Windows Azure HDInsight服务的Hadoop Storm的原理，用例及开发入门的视频，收集一下： http://channel9.msdn.com/Shows/Data-Exposed/General-Availability-and-Whats-new-with-the-...
Storm集群部署用到的软件 apache-storm-0.9.3.tar.gz dk-6u45-linux-i586.bin jzmq-master.zip zeromq-2.1.7.tar.gz zookeeper-3.4.5.tar.gz安装需要的依赖库 在32位CentOS上需要如下rpm包...
分类：
其他好文 时间：
2015-03-05 19:12:49
阅读次数：
193
官方英文文档：http://storm.apache.org/documentation/Documentation.html本文是学习笔记，转载整合加翻译，主要是为了便于学习。一、基本概念参考：http://storm.apache.org/documentation/Concepts.html此...
分类：
其他好文 时间：
2015-03-05 12:19:05
阅读次数：
170
