都到了年根底下了，业务线黄了，成了惨兮兮的茶几。不说了。 换到了新的业务线，搞大数据质量评估。自动化质检和监控平台是用django，MR也是通过python实现的。(后来发现有odc压缩问题，python不知道怎么解决，正在改成java版本) 这里展示一个python编写MR的例子吧。 抄一句话：H ...
分类：
编程语言 时间：
2016-12-10 13:54:47
阅读次数：
241
我先做一下自我介绍，我是 2007 年加入的 Google，在 Moutain View 总部任 Google SRE，今年年初回国加入 Coding。 在 Google 我参与了两个 Project，第一个就是 Youtube，其中包括 Video transcoding, streaming 等 ...
分类：
其他好文 时间：
2016-12-08 03:22:08
阅读次数：
195
1.概述 在存储业务数据的时候，随着业务的增长，Hive 表存储在 HDFS 的上的数据会随时间的增加而增加，而以 Text 文本格式存储在 HDFS 上，所消耗的容量资源巨大。那么，我们需要有一种方式来减少容量的成本。而在 Hive 中，有一种 ORC 文件格式可以极大的减少存储的容量成本。今天， ...
分类：
其他好文 时间：
2016-12-07 14:09:35
阅读次数：
415
Simple SDK for capturing, recording and streaming video and audio from web-cams on Windows OS by Windows Media Foundation. Download CaptureManagerSDK- ...
分类：
其他好文 时间：
2016-12-04 16:55:34
阅读次数：
310
为了更好地理解Spark Streaming 子框架的处理机制，必须得要自己弄清楚这些最基本概念。 1、离散流（Discretized Stream，DStream）：这是Spark Streaming对内部持续的实时数据流的抽象描述，即我们处理的一个实时数据流，在Spark Streaming中对 ...
分类：
其他好文 时间：
2016-12-04 14:01:10
阅读次数：
216
# iweihai start127.0.0.1 app.open.phpwind.com127.0.0.1 init.phpwind.com# iweihai end # weibo start127.0.0.1 contentrecommend.mobile.sina.cn127.0.0.1 c ...
分类：
其他好文 时间：
2016-12-03 11:54:49
阅读次数：
261
在Flink – Checkpoint 没有描述了整个checkpoint的流程，但是对于如何生成snapshot和恢复snapshot的过程，并没有详细描述，这里补充 StreamOperator /** * Basic interface for stream operators. Implem... ...
分类：
其他好文 时间：
2016-11-26 02:46:18
阅读次数：
299
1.概述 -》flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 -》on streaming data flows 基于流式的数据 数据流：job-》不断获取数据 任务流：job1->job2->job3&job4 ...
分类：
Web程序 时间：
2016-11-25 12:19:18
阅读次数：
290
企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类：
Web程序 时间：
2016-11-24 15:09:24
阅读次数：
215
qperf一种测试两个节点之间的带宽和延迟的一款工具。它可以工作在TCP/IP或者是RDMA之上。通常，一台作为服务器端只要开启qperf就可以，另一台作为客户端，在客户端进行带宽、延迟、CPU利用率等信息的测试。通过命令我们可以看到除了tcp、udp外，还可以测试rdma,udp,sctp等网络..
分类：
其他好文 时间：
2016-11-20 00:22:12
阅读次数：
884
