Kafka[是linkedin(是一个公司)用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时...
分类：
其他好文 时间：
2015-07-18 17:01:43
阅读次数：
176
支付宝系统架构概况典型处理默认资金处理平台财务会计支付清算核算中心交易柔性事务支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka，具有消息存储顺序写、吞吐...
分类：
其他好文 时间：
2015-07-14 22:14:18
阅读次数：
176
zhuan :https://www.linkedin.com/pulse/100-open-source-big-data-architecture-papers-anil-madanBig Data technology has been extremely disruptive with op...
分类：
其他好文 时间：
2015-07-11 20:04:20
阅读次数：
267
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供...
分类：
其他好文 时间：
2015-07-07 19:16:09
阅读次数：
169
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。...
分类：
其他好文 时间：
2015-07-03 17:35:04
阅读次数：
284
Understanding Cubert Concepts（二）：Cubert Co-Partitioned Blocks话接上文Cubert PartitionedBlocks，我们介绍了Cubert的核心Block概念之一的分区块，它是一种根据partitionKeys和cost function来对原始数据进行Redistribution和Transformation来结构化数据，这种结构化的...
分类：
其他好文 时间：
2015-07-01 12:18:05
阅读次数：
140
LinkedIn Cubert安装指南
Understanding Cubert Concepts（一）Partitioned Blocks
Understanding Cubert Concepts（二）Co-Partitioned Blocks...
分类：
其他好文 时间：
2015-07-01 12:15:40
阅读次数：
143
Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
分类：
其他好文 时间：
2015-06-30 17:47:57
阅读次数：
121
这篇是计算机中数据库存储与管理类的优质预售推荐《MATLAB数据分析与挖掘实战》。
多位资深数据挖掘专家10余年实战经验结晶，深入讲解数据挖掘各个环节的各项技术。
编辑推荐
通过10余个真实的案例为10余个行业的数据挖掘提供了解决方案，并提供相关的建模文件和源代码。
前言部分
为什么要写这本书
LinkedIn 对全球超过3.3亿用户的工作...
分类：
其他好文 时间：
2015-06-19 18:45:52
阅读次数：
650
最初，Kafka实际上是LinkedIn用于日志处理的分布式消息队列，现今，Kafka主要用于处理活跃的流式数据，如分析用户的行为，对用户搜索关键词进行统计以便分析出当前的流行趋势，存数据库浪费，而直接用传统的存硬盘方式效率又低下的业务数据也可以使用Kafka的分布式进行存储。...
分类：
其他好文 时间：
2015-06-18 19:57:08
阅读次数：
240
