storm-hdfs 这个插件支持 Rotation Actions 这个功能，官方文档解释是这样的，
### File Rotation Actions
Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s.
What...
分类：
其他好文 时间：
2015-02-14 11:02:20
阅读次数：
185
1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续.....
分类：
其他好文 时间：
2015-02-13 16:24:58
阅读次数：
144
前言spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（Map/Reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。一般很少有对实时要求那么高...
分类：
其他好文 时间：
2015-02-13 16:09:25
阅读次数：
132
source code:package stormdemo;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileNotFoundException;import java.io.FileRead...
分类：
其他好文 时间：
2015-02-13 09:16:07
阅读次数：
132
【版权声明：原创翻译文章，翻译水平有限，错误在所难免，翻译作者对文章中存在的错误或遗漏所造成后果不承担任何责任，请谨慎转载。转载请保留本声明及出处：blog.csdn.net/shallnet
，下载该书英文版】
既然TCN BPDU如此简单，那他怎么扮演如此重要的作用呢？在直接回答这个问题之前，先来看一个拓扑改变的微妙副作用。接下来的讨论引用了图6-17描述的情景。
Fi...
分类：
系统相关 时间：
2015-02-11 22:01:23
阅读次数：
593
环境描述 Windows 2012 R2，SharePoint 2013(没有sp1补丁)，sql server 2012错误描述 搜索服务正常，但是爬网一直在Crawling Full，但是爬不到任何东西，而且不会停止，爬了一宿什么都没有爬到： 爬网不止，爬了一宿什么都没有爬到，错误如下： ...
分类：
其他好文 时间：
2015-02-10 22:54:28
阅读次数：
295
Concepts：概念 原文：http://storm.apache.org/documentation/Concepts.html 这个列表展示了storm中的主要概念和相关详细信息。这些概念是： Topologies Streams Spouts Bolts Stream groupings Reliability Tas...
分类：
其他好文 时间：
2015-02-10 20:26:09
阅读次数：
326
中国大数据技术大会首日全体大会上，腾讯数据平台部助理总经理蒋杰发表了题为《大数据处理的规模化与实时化演进 》的演讲。他分享了大数据技术在腾讯的实践，其中包括基于Hadoop的平台TDW、实时数据收集系统TDBank以及基于Storm的流处理系统TRC。同时，蒋杰还透露，腾讯将在12月开源内部的Had...
分类：
其他好文 时间：
2015-02-09 12:47:57
阅读次数：
177
Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm英文原文：The 7 Log Management Tools You Need To Know日志管理工具有 Splu...
分类：
编程语言 时间：
2015-02-08 23:02:37
阅读次数：
386
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务
bin/kafka-server-start.sh config/server.properties &
2、报如下错误
props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");
props.put("serializer.cl...
分类：
其他好文 时间：
2015-02-07 18:56:33
阅读次数：
174
