作者在工作中遇到了类似流式数据实时接入的业务场景，所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具，文中的图片来自淘宝数据仓库团队交流过程中的sildes，也参考了一些相关文档。
业务背景
TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点（基于Hbase）。
目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据...
分类：
其他好文 时间：
2014-05-22 10:58:59
阅读次数：
334
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
典型错误案例：
经常我们会通过addView方法，动态添加一些子布局，比如下面的一段代码.
LinearLayout linParent = (LinearLayout) findViewById(R.id.aty_slider_linParent);View vChild = mInflater.inflate(R.layout.view_loding, null);linP...
分类：
移动开发 时间：
2014-05-22 09:41:22
阅读次数：
553
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
继上一篇讲了Put和Delete之后，这一篇我们讲Get和Scan,
因为我发现这两个操作几乎是一样的过程，就像之前的Put和Delete一样，上一篇我本来只打算写Put的，结果发现Delete也可以走这个过程，所以就一起写了。Get我们打开HRegionServer找到get方法。Get的方法处理...
分类：
其他好文 时间：
2014-05-21 17:58:53
阅读次数：
344
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门，负责创新性项目的研究和跟进，目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类：
数据库 时间：
2014-05-21 17:04:40
阅读次数：
393
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
前言1.
创建表：（由master完成）首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址client和master通信，然后有master来创建表（包括表的列簇，是否cache，设置存储的最大版本数，是否压缩...
分类：
编程语言 时间：
2014-05-19 14:23:43
阅读次数：
392
目的
使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。
这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。
Hadoop Ta...
分类：
其他好文 时间：
2014-05-18 18:41:39
阅读次数：
319
在讲完之后HFile和HLog之后，今天我想分享是Put在Region
Server经历些了什么？相信前面看了《HTable探秘》的朋友都会有印象，没看过的建议回去先看看，Put是通过MultiServerCallable来提交的多个Put，好，我们就先去这个类吧，在call方法里面，我们找到了这句...
分类：
其他好文 时间：
2014-05-17 22:54:25
阅读次数：
397
