阅读背景： 如果您对爬虫，或则web前端不够了解，请自行google。 代码前提：您需要参阅本ID 所写的前面两篇博文：? Storm【实践系列-如何写一个爬虫】 - Fetcher 本章主题： ParserBolt 如何完成的解析，并且如何...
分类：
其他好文 时间：
2014-08-18 16:37:42
阅读次数：
376
一、入门 1.??? 简介 Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进...
分类：
其他好文 时间：
2014-08-18 14:40:12
阅读次数：
315
最近在写一个关于用HTTP控制storm的的UI功能，已经实现完成，采用在nginx里面加入对应的模块调用来实现，模块中调用一个动态加载的SO，这个SO用THRIFT和zookeeper client实现对storm的控制和信息的存储固化。开始我使用了std::string来做字符串处理。后来发现string实在太多未知的对象构建和内存分配，加上我想把so改用纯C的实现。std::string自然...
分类：
其他好文 时间：
2014-08-18 14:32:03
阅读次数：
209
背景：
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：
如何收集这些巨大的信息如何分析它 如何及时做到如上两点
以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两...
分类：
其他好文 时间：
2014-08-18 12:38:34
阅读次数：
191
Kafka提供了两套API给Consumer
The high-level Consumer APIThe SimpleConsumer API
第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次在一个处理过程中只消费Partiti...
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类：
其他好文 时间：
2014-08-14 20:00:59
阅读次数：
283
针对当前热门实时计算技术storm的参数设置总结，已经性能测试！...
分类：
其他好文 时间：
2014-08-13 19:06:27
阅读次数：
282
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
Storm因机器断电等，启动supervisor错误因机器断电或其他异常导致的supervisor意外终止，再次启动时报错：2014-08-13 10:36:03 b.s.event [ERROR] Error when processing eventjava.lang.RuntimeExcept...
分类：
其他好文 时间：
2014-08-13 12:18:07
阅读次数：
184
