线上部分实时job是用storm开发的，为了监控数据的延迟，在storm处理日志的时候会把日志的时间插入到redis中，然后通过zabbix做延迟的监控。由于经常有新的job上线，手动配置监控项就变得比较麻烦，为了解放生产力，还是需要搞成自动化。之前添加网卡和分区监控的时候用了LLD的..
分类：
其他好文 时间：
2014-11-28 06:26:22
阅读次数：
298
UDP 是无连接、不可靠的数据报传输层协议，为应用程序发送和接收数据报，只是将数据报的分组从一台主机发送到另一台主机，但并不保证数据报能够到达另一端，任何必须的可靠性都由应用程序提供。在 UDP 情况下，虽然可以确保发送消息的大小，却不能保证消息一定会达到目的端。没有超时和重传功能，当 UDP 数据封装到 IP 数据报传输时，如果丢失，会发送一个 ICMP 差错报文给源主机。
即使出现网络阻塞情况，UDP 也无法进行流量控制。此外，传输途中即使出现丢包，UDP 也不负责重发，甚至当出现包的到...
分类：
其他好文 时间：
2014-11-27 22:04:25
阅读次数：
229
一（NTFS权限）1.NTFS权限：在windows磁盘分区上可以分别对文件或文件夹设置NTFS权限。2.NTFS系统特点：①提高磁盘读写性能②可靠性：加密文件系统、访问控制列表③磁盘利用率：压缩、磁盘配额。3.NTFS权限规则：①权限的累加：用户对资源的有效权限是分配给用户的权限和用户所..
转载请注明出处：
源地址：http://storm.apache.org/documentation/Concepts.html
本文介绍了storm的主要概念，并且给出相关链接供你查看更多信息。本文讨论的概念如下所示：
1、Topologies
2、Streams
3、Spouts
4、Bolts
5、Stream Grouping
6、Reliability
7、Tas...
分类：
其他好文 时间：
2014-11-27 16:27:12
阅读次数：
229
转载请注明出处：
源地址：http://storm.apache.org/documentation/Configuration.html
storm由丰富的configure选项， 用来调整nibus、supervisor、以及运行时topologies的行为。某些配置选项是系统配置，例如topology基础配置，修改某个topology的这些选项有可能影响到所有topologies，...
分类：
其他好文 时间：
2014-11-27 16:15:52
阅读次数：
454
源地址：http://storm.apache.org/documentation/Documentation.html
storm基础知识
l Javadoc
l
概念
l
配置
l
保证消息处理机制
l
容错性能
l
命令行客户端
l
理解storm topology并行机制
l FAQ
trident
对stor...
分类：
其他好文 时间：
2014-11-27 12:50:35
阅读次数：
154
源地址：http://storm.apache.org/documentation/Creating-a-new-Storm-project.html
本文主要介绍如何配置开发的storm项目。步骤如下：
1、将storm jar包加到classpath中
2、如果使用多语言特性，将多语言实现的目录加到classpath中
下面跟着一块看一下在Eclipse环境中如何配置sto...
分类：
其他好文 时间：
2014-11-27 10:45:35
阅读次数：
213
分类：大数据接触这块将近3个月左右，期间给自己的定位也是业务层开发。对平台级的产品没有太深入的理解和研究，所以也不能大谈特谈什么storm架构之类的了。说说业务中碰到流式计算问题吧：1.还是要介绍下简要的架构(原谅我不会画图)流式数据接入层------------------->流式数据处理层---...
分类：
其他好文 时间：
2014-11-26 20:47:03
阅读次数：
253
(1)TCP是面向连接的传输控制协议，而UDP提供了无连接的数据报服务；（2）TCP具有高可靠性，确保传输数据的正确性，不出现丢失或乱序；UDP在传输数据前不建立连接，不对数据报进行检查与修改，无须等待对方的应答，所以会出现分组丢失、重复、乱序，应用程序需要负责传输可靠性..
分类：
其他好文 时间：
2014-11-26 19:17:59
阅读次数：
159
