Spark的RDD执行完成之后会保存检查点，便于当整个作业运行失败重新运行时候，从检查点恢复之前已经运行成功的RDD结果，这样就会大大减少重新计算的成本，提高任务恢复效率和执行效率，节省Spark各个计算节点的资源。...
分类：
其他好文 时间：
2016-05-26 11:34:12
阅读次数：
461
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-26 00:00:37
阅读次数：
543
今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
最近团队内部做了一个web app，用koa做服务端，一直对他中间件实现很感兴趣，对他的源码研究之后，写了一份简化版本的中间件实现。代码除了用到ES6的Generator和Promise,没有用到其他三方库，总共不到一百行，希望能帮助大家理解！ ...
分类：
其他好文 时间：
2016-05-19 17:46:34
阅读次数：
142
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-19 15:17:51
阅读次数：
416
来自：美团技术博客
http://tech.meituan.com/mt-log-system-arch.html
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。...
分类：
Web程序 时间：
2016-05-18 19:40:29
阅读次数：
266
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-05-18 18:34:59
阅读次数：
259
最近遇到需求，需要在某张用户发表的图片中展示评论，方式是以淡入淡出的弹幕形式。需求为淡入事件t1->淡出t2，所有弹幕依次开始播放，中间一定的时间间隔deltaT。仔细考虑之后，想到以下实现方式，现总结下来并进行实现、分析以及比较。
不妨认定弹幕的画布为BarrageView；每条弹幕的绘制为BarrageItemView。
属性动画
从只有一条弹幕开始思考，我...
分类：
移动开发 时间：
2016-05-18 18:07:46
阅读次数：
871
转载自：http://www.dengchuanhua.com/132.html 在分布式系统中，需要生成全局UID的场合还是比较多的，twitter的snowflake解决了这种需求，实现也还是很简单的，除去配置信息，核心代码就是毫秒级时间41位+机器ID 10位+毫秒内序列12位。 该项目地址为 ...
分类：
编程语言 时间：
2016-05-17 13:24:26
阅读次数：
214
一、初学者问题： 请教个问题在实际的生成环境里面，数据源产生的地方部署Hadoop,还是需要程序把数据给迁移到Hadoop云上面去啊 回答： (1)hadoop不是云，hadoop是处理大数据的 (2)如果产生数据的话，你可以使用sqoop导入数据，也可以使用手机日志工具，比如flume 更多资料： ...
分类：
其他好文 时间：
2016-05-17 11:09:43
阅读次数：
147
