源地址：http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html
本文叙述了storm集群搭建和运行步骤。如果你打算在AWS上进行的话，可以使用storm-deploy项目。storm-deploy在EC2上完全自动进行下载、配置、以及storm集群的安装等步骤。它也为你配置了Ganglia，用以监控CPU、...
分类：
其他好文 时间：
2014-12-03 00:34:03
阅读次数：
190
在配置一个Storm环境之前，首先需要一个Linux操作系统。常见的linux系统有CentOS、Red Hat、Ubuntu等，我使用的是Ubuntu 14.04。系统尽量是最新的，对于旧版本的ubuntu，软件源支持不太好，apt-get install会发生错误 总的来说，storm安装...
分类：
其他好文 时间：
2014-12-02 23:55:23
阅读次数：
236
我们知道Storm有一个很重要的特性，那就是Storm API能够保证它的一个Tuple能够被完全处理，这一点尤为重要，下面就给大家介绍一下storm中的可靠性。
1.Spout的可靠性保证
在Storm中，消息处理可靠性从Spout开始。为了保证数据能正确的被处理, 对于spout产生的每一个tuple,storm都能进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tup...
分类：
其他好文 时间：
2014-12-02 20:56:26
阅读次数：
384
linux设备驱动--LED驱动最近正在学习设备驱动开发，因此打算写一个系列博客，即是对自己学习的一个总结，也是对自己的一个督促，有不对，不足，需要改正的地方还望大家指出，而且希望结识志同道合的朋友一起学习技术，共同进步。作者：liufei_learning（转载请注明出处）email：flying...
分类：
系统相关 时间：
2014-12-01 22:07:56
阅读次数：
441
摘要: 采用无监督的方法分层预训练深度网络的权值时，为了学习到较鲁棒的特征，可以在网络的可视层（即数据的输入层）引入随机噪声，这种方法称为Denoise Autoencoder(简称dAE)，由Bengio在08年提出
分类：
Web程序 时间：
2014-11-30 06:13:42
阅读次数：
307
自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。
第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们...
分类：
其他好文 时间：
2014-11-29 17:37:54
阅读次数：
249
源地址：http://storm.apache.org/documentation/Fault-tolerance.html
本文主要介绍Storm作为容错系统的设计细节。
当worker死掉时会发生什么？
当worker死掉时， supervisor将重启它。 如果worker启动总是失败，则worker就不能发送心跳消息给Nimbus， 那Nimbus就会...
分类：
其他好文 时间：
2014-11-29 00:18:19
阅读次数：
175
转载请注明出处：
源地址：http://storm.apache.org/documentation/Guaranteeing-message-processing.html
Storm保证：每条离开spout的消息都可以得到"fullyprocessed"。本文描述了storm如何实现这种保证以及你如何能够从Storm这种可靠性能力中受益。
"fully proce...
分类：
其他好文 时间：
2014-11-28 16:20:03
阅读次数：
273
Begin $my_variable = "A bunch of text" notify {$my_variable:}Yup, that’s a variable, all right.refer:https://docs.puppetlabs.com/learning/variab...
分类：
其他好文 时间：
2014-11-28 16:03:59
阅读次数：
139
线上部分实时job是用storm开发的，为了监控数据的延迟，在storm处理日志的时候会把日志的时间插入到redis中，然后通过zabbix做延迟的监控。由于经常有新的job上线，手动配置监控项就变得比较麻烦，为了解放生产力，还是需要搞成自动化。之前添加网卡和分区监控的时候用了LLD的..
分类：
其他好文 时间：
2014-11-28 06:26:22
阅读次数：
298
