分布式数据仓库模型的架构设计，受分布式技术的影响，很多有自己特色的地方，但是在概念模型和逻辑模型设计方面，还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础，介绍NCR FS-LDM主题域模型的划分和定义。...
分类：
其他好文 时间：
2015-04-21 11:09:32
阅读次数：
328
本文是我最近读书笔记的一篇文章，主要是阅读《淘宝技术这十年》的第一部分，主要包括淘宝网的技术流程和基础介绍，希望文章对大家有所帮助，同时记录自己最近学习的内容。我似乎是2007年初中看《赢在中国》的时候喜欢上马云的，当时对互联网都不是很了解，更别提阿里巴巴和淘宝网了。当时马云的几句点评深深地吸引了我，其中我印象最深的一句话就是“短暂的激情是不值钱的，只有长久的激情才是值钱的”，以至于我在本科毕业德育答辩时用的题目就是这句话。的确，想做成任何一件事都需要有持之以恒的努力；后来高中买了本书叫《谁认识马云》，作文...
分类：
其他好文 时间：
2015-04-20 07:00:44
阅读次数：
422
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin...
分类：
其他好文 时间：
2015-04-20 00:06:57
阅读次数：
151
Kafka日志包是提供的是日志管理系统。主要的类是LogManager——该类负责处理所有的日志，并根据topic/partition分发日志。它还负责flush策略以及日志保存策略。Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了...
分类：
其他好文 时间：
2015-04-19 10:06:28
阅读次数：
2628
消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。[plain]view plaincopy/***具有N个字节的消息的格式如下**如果版本号是0**1.1个字节的"magic"标记**2.4个字节的CRC32校验码**3.N-5个字节的具体信息**如...
分类：
其他好文 时间：
2015-04-18 12:44:58
阅读次数：
123
接下来一步一步搭建Kafka运行环境。Step 1: 下载Kafka点击下载最新的版本并解压.> tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-0.8.1.1Step 2: 启动服务Kafka用到了Zookeeper，所有首先启动Zookper，下...
分类：
其他好文 时间：
2015-04-18 11:33:26
阅读次数：
153
上篇文章中我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topic，发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖搭建开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用...
分类：
其他好文 时间：
2015-04-18 11:31:44
阅读次数：
153
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随...
分类：
其他好文 时间：
2015-04-18 11:30:33
阅读次数：
161
