1.问题由来 命令：java -jar data.jar 1000 >>nginx.log 报错： Exception in thread "main" java.lang.NoClassDefFoundError: com.ibeifeng.test.data.NginxLogGenerator ...
分类：
编程语言 时间：
2018-06-02 23:54:42
阅读次数：
254
主流浏览器 内核 IE微软 trident Chrome谷歌 webkit/blink firefox火狐 Gecko Opera欧朋 presto Safari苹果 webkit ...
分类：
其他好文 时间：
2018-05-31 19:27:05
阅读次数：
157
为了进一步打造提升（大数据躺过的坑）本微信公众平台的博文高质量水平，特邀请善于分享、主动、敢于专研尝试新技术新领域的您，一起共同维护好我们的知识小天地。目前涉及领域有：大数据领域：Hadoop、Hive、HBase、Zookeeper、Flume、Sqoop、Kafka、Spark、Storm、Ze ...
分类：
微信 时间：
2018-05-31 14:37:52
阅读次数：
383
1.Lambda架构背景介绍 Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。 Lambda架构的目标是设计出一个能满 ...
分类：
其他好文 时间：
2018-05-29 13:59:24
阅读次数：
149
消息的可靠处理机制 Storm内部通过一种巧妙的异或算法判读每个tuple是否被正确完整的处理。 Spout的一个Task创建一个Tuple时，即在Spout的nextTuple()方法中实现从特定数据源读取数据的处理逻辑中，会与Acker进行通信，向Acker发送消息，Acker保存该Tuple对 ...
分类：
其他好文 时间：
2018-05-28 15:04:05
阅读次数：
167
conf.setNumWorkers(2); // 该Topology运行在Supervisor节点的2个Worker进程中 topologyBuilder.setSpout("blue spout", new BlueSpout(), 2); // 设置并行度为2，则Task个数为2 1 topo ...
分类：
其他好文 时间：
2018-05-28 15:02:55
阅读次数：
171
任务级容错 Bolt任务crash引起的消息未被应答。此时，acker中所有与此Bolt任务关联的消息都会因为超时而失败，对应的Spout的fail方法将被调用。 acker任务失败。如果acker任务本身失败了，它在失败之前持有的所有消息都将超时而失败。Spout的fail方法将被调用。 Spou ...
分类：
其他好文 时间：
2018-05-28 14:54:01
阅读次数：
180
nimbus 是集群的管理节点 superviser ： 一个superviser 在一台机器上， 它本身是一个进程，有一个id 管理在同一机器上的 多个worker进程，每个worker进程只服务于一个topology，每个worker对外有一个port，用于接收数据； 一个worker内有多个e ...
分类：
其他好文 时间：
2018-05-28 13:47:53
阅读次数：
144
伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来， ...
分类：
其他好文 时间：
2018-05-28 11:34:21
阅读次数：
177
进到一个topology的页面， 里面有整体的stat， spout的情况 bolt的情况 其中b 0，负责的是数据持久化，如果这个有fail，那么会导致数据处理延迟 其他有少量fail，是没什么关系的 那如何查找某个具体是哪个spout和bolt，哪台机器，什么错？ 比如b 0有fail 那么点击 ...
分类：
其他好文 时间：
2018-05-27 23:40:55
阅读次数：
185
