码迷,mamicode.com
首页 > 其他好文 > 详细

Storm calculate pv

时间:2015-02-07 14:25:20      阅读:258      评论:0      收藏:0      [点我收藏+]

标签:

本题其实就是stormwordcout,需要把一个gz压缩的文件读取,并使用storm计算其pv.

样本 数据:

技术分享

存储为accesslog.gz

我把它加载到我的虚拟机中/mnt/下。

没有使用trident,刚学习最基本的。

所以把spout的数目设定为1.

把文件路径存储在config map中了,其实是想使用参数进行传递,这样更友好。

读取完之后把它存储到一个文件当中。

在这里使用的是调试的模式,如果需要运行在集群中的话,还是需要调整的。

再做一个bolt,专门用来写文件。

? ?

技术分享

? ?

Spout used to read logs:

技术分享

Bolt used to split sentense:

技术分享

Bolt used to count pv:

技术分享

? ?

Storm calculate pv

标签:

原文地址:http://www.cnblogs.com/huaxiaoyao/p/4278710.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!