Concepts：概念 原文：http://storm.apache.org/documentation/Concepts.html 这个列表展示了storm中的主要概念和相关详细信息。这些概念是： Topologies Streams Spouts Bolts Stream groupings Reliability Tas...
分类：
其他好文 时间：
2015-02-10 20:26:09
阅读次数：
326
中国大数据技术大会首日全体大会上，腾讯数据平台部助理总经理蒋杰发表了题为《大数据处理的规模化与实时化演进 》的演讲。他分享了大数据技术在腾讯的实践，其中包括基于Hadoop的平台TDW、实时数据收集系统TDBank以及基于Storm的流处理系统TRC。同时，蒋杰还透露，腾讯将在12月开源内部的Had...
分类：
其他好文 时间：
2015-02-09 12:47:57
阅读次数：
177
Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm英文原文：The 7 Log Management Tools You Need To Know日志管理工具有 Splu...
分类：
编程语言 时间：
2015-02-08 23:02:37
阅读次数：
386
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务
bin/kafka-server-start.sh config/server.properties &
2、报如下错误
props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");
props.put("serializer.cl...
分类：
其他好文 时间：
2015-02-07 18:56:33
阅读次数：
174
本题其实就是storm的wordcout,需要把一个gz压缩的文件读取，并使用storm计算其pv. 样本 数据： 存储为accesslog.gz 我把它加载到我的虚拟机中/mnt/下。 没有使用trident，刚学习最基本的。 所以把spout的数目设定为1. 把文件路径存储在config 的ma...
分类：
其他好文 时间：
2015-02-07 14:25:20
阅读次数：
258
kafka是用scala编写，用zookeeper做协调。scala的代码没学习过，这边主要看别人写的文档和自己的工作实践来的。笔记可能会写多篇，因为这东西要经常看啊，不看过了多久就忘了。
东西看完了就要问问自己3W1H
What：kafka是一个分布式（多broker，zookeeper）的，分区的（partition），消息复制的（replicate）的消息中间件（log service）...
分类：
其他好文 时间：
2015-02-05 18:32:14
阅读次数：
211
KAFKA学习总结 一、?简介 KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统; KAFKA用途广泛,可以用作消息队列,也可以用作日志系统,还有其他一些应用,在此不作详细介绍; 二、?组成 按照不同...
分类：
其他好文 时间：
2015-02-03 11:24:22
阅读次数：
257
本次实验的环境为VM station 10 安装三个虚拟机，系统为centOS6.5。IP分别如下图。如下图，三个虚拟机均安装了Java1.7以及配置好了hosts文件。接着是下载zookeeper-3.4.6（这里推荐使用此版本），进入conf目录下，将zoo_sample.cfg复制成zoo.c...
分类：
其他好文 时间：
2015-02-02 21:17:24
阅读次数：
191
场景：使用Spark Streaming接收Kafka发送过来的数据与关系型数据库中的表进行相关的查询操作；Kafka发送过来的数据格式为：id、name、cityId，分隔符为tab1 zhangsan 12 lisi 13 wangwu ...
分类：
数据库 时间：
2015-02-02 10:48:27
阅读次数：
169
本文根据自己的了解，对学习storm所需的一些知识进行汇总，以备之后详细了解。 maven工具Vagrantstormeclipseredisnodejs
分类：
其他好文 时间：
2015-02-01 17:39:44
阅读次数：
148
