来自:http://doc.okbase.net/QING____/archive/19447.html也可参考:http://blog.csdn.net/21aspnet/article/details/19325373http://blog.csdn.net/unix21/article/det...
分类:
编程语言 时间:
2015-03-05 09:13:29
阅读次数:
286
新blog地址:http://hengyunabc.github.io/about-metrics/想要实现的功能
应用可以用少量的代码,实现统计某类数据的功能
统计的数据可以很方便地展示
metricsmetrics,按字面意思是度量,指标。举具体的例子来说,一个web服务器:
- 一分钟内请求多少次?
- 平均请求耗时多长?
- 最长请求时间?
- 某个方法的被调用次数,时长?以缓存为例...
分类:
其他好文 时间:
2015-03-05 01:45:50
阅读次数:
1338
原文:http://blog.csdn.net/changong28/article/details/39325079使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时候可以指定分区数和副本数等信息,如果将这些属性配置到server.properties文件中,以后调用Java...
分类:
编程语言 时间:
2015-03-04 18:23:28
阅读次数:
274
flume作为日志收集端,其本质上也是一个生产者消费者结构,source作为消息的producer,sink作为消息的consumer,中间的channel作消息的存储为了保证消息消费的正确性,flume使用了事务的机制,主要涉及的类:1)org.apache.flume.Transaction接口类,为访问channel提供事务的功..
分类:
Web程序 时间:
2015-03-04 06:22:18
阅读次数:
282
作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间,...
分类:
其他好文 时间:
2015-03-03 16:51:30
阅读次数:
209
作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版...
分类:
其他好文 时间:
2015-03-03 15:11:59
阅读次数:
269
我们这里介绍的Producer-Consumer生产者-消费者模式是多线程设计模式中很著名的一个设计模式。说到生产者消费者问题,大部分人都不会陌生,OS课的经典问题,并且其本身就是一个计算机编程中常见的问题。对于它的应用,可以举出无数的例子,小到一个多线程程序对队列的共享互斥操作,大到目前流行的.....
分类:
编程语言 时间:
2015-03-02 16:39:08
阅读次数:
336
apache下一个版本(1.6)将会带来一个新的组件KafKaChannel,顾名思义就是使用kafka做channel,当然在CDH5.3版本已经存在这个channel。 大伙知道,常用的channel主要有三个: 1、memory channel:用内存做channel,优点是速度最快,...
分类:
Web程序 时间:
2015-03-01 19:38:20
阅读次数:
238
broker.id 默认值:无每一个broker都有一个唯一的id,这是一个非负整数,这个id就是broker的"名字",这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字,只要它是唯一的。log.dirs 默认值:/tmp/kafka-logs一个用逗号分隔的目录列表,可...
分类:
其他好文 时间:
2015-02-25 12:57:28
阅读次数:
174
import java.util.Random; import java.util.concurrent.LinkedBlockingQueue; class producer { Random rdm = new Random(); void produce( Lin...
分类:
编程语言 时间:
2015-02-12 20:09:01
阅读次数:
216