引子这几天为了优化原有的数据处理框架，比较系统的学习了storm的一些内容，整理一下心得1. storm提供的是一种数据处理思想，它不提供具体的解决方案 storm的核心是topo的定义，而topo承载着所有的业务逻辑，我们基于storm的topo的组织方案，来编排私有的业务实现逻辑。 stor.....
分类：
其他好文 时间：
2015-07-21 21:51:14
阅读次数：
93
ISpout定义了?7个方法： 1、?open(Map conf, TopologyContext context, SpoutOutputCollector collector);?? ? ? ?初始化时被调用，提供spout运行环境 ? ? ?@param conf 对spout的配置 ? ? ?@param ...
分类：
其他好文 时间：
2015-07-21 17:24:02
阅读次数：
126
1、所有主机需要安装JDK，并配置JDK环境变量 2、所有主机安装SSH，并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts，保证各机器通过机器名可以互访 4、安装python 2.6及以上（storm用） 5、ZeroMQ Java代...
分类：
Web程序 时间：
2015-07-20 17:06:59
阅读次数：
170
按照storm on yarn(Apache hadoop)部署好之后，然后修改HADOOP_HOME,hadoopenv.sh中的JAVA_HOME,以及storm-yarn-master中pom.xml的hadoop version启动顺序依次为：hdfs：start-dfs.shyarn:st...
分类：
其他好文 时间：
2015-07-18 16:55:49
阅读次数：
158
在storm集群上出现的no space for device的错误，任何服务都无法开启，文件无法创建，发现是inode已满，然后找到解决方案并成功解决...
分类：
系统相关 时间：
2015-07-18 15:38:27
阅读次数：
160
Storm计算的结果存放在哪里？
刚开始接触Storm的时候，往往都会有这么一个疑问：“Storm处理后
的计算结果是保存在哪里呢？”是内存中还是在其它的地方？
官方给出的解释是：Storm不负责保存计算结果，计算结果由运算程序
来负责，如果数据不大，可以简单的保存在内存里，可以每次更新到数据库，
或者采用NoSQL来进行存储。Storm没有像s4那样...
分类：
其他好文 时间：
2015-07-17 22:52:50
阅读次数：
240
storm on yarn, failed, 失败， 提交， hadoop
分类：
其他好文 时间：
2015-07-15 10:54:52
阅读次数：
143
快乐虾http://blog.csdn.net/lights_joy/欢迎转载，但请保留作者信息在上一节中，我们仿真了一个总线型网络，这一节尝试将上一节中的n0变成一个无线的AP，再连上几个节点。这也是NS3中的示例third.cc干的事情，只是我们用Python实现。// Default Network Topology
//
// Wifi 10.1.3.0
// ...
分类：
其他好文 时间：
2015-07-14 00:13:26
阅读次数：
731
快乐虾http://blog.csdn.net/lights_joy/欢迎转载，但请保留作者信息在NS3提供的第一个示例first.py中，模拟了一个点对点的网络，接下来的一个示例代码模拟了一个总线型网络及CSMA协议。# // Default Network Topology
# //
# // 10.1.1.0
# // n0 -------------- n1 n2 n3...
分类：
其他好文 时间：
2015-07-13 22:26:18
阅读次数：
233
