storm因机器断电或其他异常导致的supervisor意外终止,再次启动时报错: 1. 2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting superviso...
分类:
编程语言 时间:
2014-11-24 17:02:46
阅读次数:
169
Storm有 7 种类型的stream分组: 1.Shuffle Grouping: 随机分组, 随机派发stream 里面的 tuple,保证每个 bolt 接收到的 tuple 数目大致相同。 2.Fields Grouping: 按字段分组,比如...
分类:
其他好文 时间:
2014-11-24 14:58:39
阅读次数:
210
Spout:spout对象必须是继承Serializable, 因此要求spout内所有数据结构必须是可序列化的spout可以有构造函数,但构造函数只执行一次,是在提交任务时,创建spout对象,因此在task分配到具体worker之前的初始化工作可以在此处完成,一旦完成,初始化的内容将携带到每一个...
分类:
其他好文 时间:
2014-11-24 13:26:18
阅读次数:
172
本文介绍了端到端与点到点之间的概念和区别。数据传输的可靠性是通过数据链路层和网络层的点对点和传输层的端对端保证的。端到端与点到点是针对网络中传输的两端设备间的关系而言的。...
分类:
其他好文 时间:
2014-11-24 10:04:02
阅读次数:
141
1.下载storm并解压
2.修改文件 storm.yaml
我这里填的是域名,填ip也可以
hadoop@namenode:~/storm-0.9.2/conf$ vim storm.yaml
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor licens...
分类:
其他好文 时间:
2014-11-24 01:03:47
阅读次数:
334
Trident主要有5类操作:1、作用在本地的操作,不产生网络传输。2、对数据流的重分布,不改变流的内容,但是产生网络传输。3、聚合操作,有可能产生网络传输。4、作用在分组流(grouped streams)上的操作。5、Merge和join
分类:
其他好文 时间:
2014-11-23 23:06:46
阅读次数:
208
数据流分流和合并数据流经常需要分流与合并操作,如下图所示:分流分流有2钟情况,第一种是,相同的tuple发往下一级不同的bolt, 第二种,分别发送不同的tuple到不同的下级bolt上。发送相同tuple其实和普通1v1 发送一模一样,就是有2个或多个bolt接收同一个spout或bolt的数据 ...
分类:
其他好文 时间:
2014-11-23 22:59:44
阅读次数:
4962
记事本项目测试报告及bug修复整理第一章 引言1.1 项目简介1.2 项目背景说明1.3 面向客户群体1.4 参考资料第二章 测试情况概述2.1 测试平台及背景2.2 测试用例设计第三章 测试内容3.1 功能性测试3.2 UI界面基本功能性测试3.3 悬浮窗界面测试3.4 搜索界面测试3.5 可靠性...
分类:
其他好文 时间:
2014-11-22 20:13:01
阅读次数:
415
本文首发于烂泥行天下。说明本篇文章部分转载自互联网。MySQL的Replication(英文为复制)是一个多MySQL数据库做主从同步的方案,特点是异步复制,广泛用在各种对MySQL有更高性能、更高可靠性要求的场合。与之对应的是另一个同步技术是MySQLCluster,但因为MySQLCluster配置比..
分类:
数据库 时间:
2014-11-21 10:50:02
阅读次数:
267
本文由秀依林枫提供友情赞助,首发于烂泥行天下。 说明本篇文章部分转载自互联网。 MySQL的Replication(英文为复制)是一个多MySQL数据库做主从同步的方案,特点是异步复制,广泛用在各种对MySQL有更高性能、更高可靠性要求的场合。与之对应的是另一个同步技术是MySQL Cluster,...
分类:
数据库 时间:
2014-11-21 10:24:49
阅读次数:
271