http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注...
分类:
Web程序 时间:
2014-11-19 10:32:28
阅读次数:
345
Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道(data pipeline)和消息系统使用。...
分类:
其他好文 时间:
2014-11-19 01:40:39
阅读次数:
364
本文内容目录ji
1)apache kafka消息服务
2)kafka在zookeeper中存储结构
3)kafka log4j配置
4)kafka replication设计机制
5)apache kafka监控系列-监控指标
6)kafka.common.ConsumerRebalanceFailedException异常解决办法
7)kafak安装与使用
8)apache k...
分类:
Web程序 时间:
2014-11-19 01:36:35
阅读次数:
3557
mysql的分页比较简单,只需要limit offset,length就可以获取数据了,但是当offset和length比较大的时候,mysql明显性能下降*1.子查询优化法先找出第一条数据,然后大于等于这条数据的id就是要获取的数缺点:数据必须是连续的,可以说不能有where条件,where条件会...
分类:
数据库 时间:
2014-11-18 15:55:48
阅读次数:
342
Object.wait和notify方法 object‘s monitor 先来了解一下Object.wait和notify方法 ?wait、notify和notifyAll方法是Object类的final native方法,所以这些方法不能被子类重写。? Object类是所有类的超类,因此在...
分类:
其他好文 时间:
2014-11-18 13:40:43
阅读次数:
210
kafka自动关闭进程:[2014-11-14 13:04:20,901] INFO [Controller 2]: Controller shutdown complete (kafka.controller.KafkaController)原因:cluster的server.properties...
分类:
其他好文 时间:
2014-11-17 10:20:35
阅读次数:
224
vi /root/dfmon.sh#!/bin/bash#AUTHOR:kiki#DATE:20141115#PURPOSE:be used to monitor file system.fsvalue=80dfwork="/tmp/dfwork">$dfworkdf |tail -n +2 |aw...
分类:
其他好文 时间:
2014-11-15 22:58:19
阅读次数:
224
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类:
Windows程序 时间:
2014-11-14 15:42:08
阅读次数:
2971
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类:
其他好文 时间:
2014-11-14 14:15:48
阅读次数:
291