Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。...
分类：
其他好文 时间：
2015-07-03 17:35:04
阅读次数：
284
kafka集群搭建与api客户端创建，以前的消息队列（activeMQ）对于大数据吞吐率不行，但kafka很好的解决了此类问题，并且以集群的方式进行扩展，可谓相当强大...
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-07-02 06:30:00
阅读次数：
887
package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer...
分类：
Web程序 时间：
2015-07-01 20:32:42
阅读次数：
174
Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
分类：
其他好文 时间：
2015-06-30 17:47:57
阅读次数：
121
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
一、理论介绍
（一）相关资料
1、官方资料，非常详细：
http://kafka.apache.org/documentation.html#quickstart
2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视：
http://www.linuxidc.com/Linux/2014-07/104470.htm
3、还有一文...
分类：
其他好文 时间：
2015-06-27 10:00:56
阅读次数：
155
1.3?快速入门 Step 1: 下载Kafka 点击这里下载?Download?并解压 > tar -xzf kafka_2.10-0.8.2.0.tgz> cd kafka_2.10-0.8.2.0 Step 2: 启动服务 Kafka 使用 ZooKeeper 因此需要首先启动 ZooKeeper 服务。如果你...
分类：
其他好文 时间：
2015-06-24 14:48:32
阅读次数：
144
storm中只能进行任务计算，不能保存中间结果，最后结果。这就有一个需求，保存计算结果，最好还是分布式的，因为storm也是分布式，大数据计算。流行的分布式计算中使用队列保存数据居多。kafka适合大量写入，但是稳定性差，项目采用的是rabbitmq.rabiitmq有2种模式：1.集群模式（高稳定...
分类：
其他好文 时间：
2015-06-23 19:48:21
阅读次数：
213
本文简单介绍了Flume agent的LineDeserializer的机制以及它在收集多行形式的日志上的缺陷，并对其进行了扩展。...
分类：
Web程序 时间：
2015-06-22 22:23:56
阅读次数：
281
