kiev是魅族科技推送平台目前使用的Linux-C++后台开发框架。从2012年立项起，先后由多位魅族资深架构师、资深C++工程师倾力打造，到本文写就的时间为止，已经在推送平台这个千万用户级的大型分布式系统上经历了近5年的考验。...
分类：
编程语言 时间：
2016-05-24 12:10:50
阅读次数：
854
本期内容： 1 JobScheduler内幕实现 2 深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 S ...
分类：
其他好文 时间：
2016-05-22 13:55:09
阅读次数：
144
本期内容： 1，JobScheduler内幕实现 2，JobScheduler深度思考 摘要：JobScheduler是Spark Streaming整个调度的核心，其地位相当于Spark Core上的调度中心中的DAGScheduler！ 一、JobScheduler内幕实现 问：JobSched ...
分类：
其他好文 时间：
2016-05-22 08:30:19
阅读次数：
623
本期内容：1、JobScheduler内幕实现2、JobScheduler深度思考JobScheduler是SparkStreaming的调度核心，地位相当于SparkCore上调度中心的DAGScheduler，非常重要！JobGenerator每隔BatchDuration时间会动态的生成JobSet提交给JobScheduler，JobScheduler接收到JobSet后，如何处..
分类：
其他好文 时间：
2016-05-20 14:53:19
阅读次数：
366
TaskSchedulerBackend与SchedulerBackend
FIFO与FAIR两种调度模式
Task数据本地性资源的分配
一、TaskScheduler运行过程（Spark-shell角度）
1.启动Spark-shell
当我们spark-shell本身的时候命令终端返回来的主要是ClientEndpoint和SparkDeploySchedulerBakcend。这是因为此时...
分类：
编程语言 时间：
2016-05-18 19:00:17
阅读次数：
230
本文根据有容云技术实施团队原创分享内容整理。本次交流将与大家分享Docker Volume plugin相关的内容。今日主题是窥探Docker中的Volume plugin内幕。对Docker技术感兴趣、或对本文中细节需继续探讨的朋友，欢迎加入我们参与讨论！...
分类：
其他好文 时间：
2016-05-18 18:51:58
阅读次数：
270
原创文章，转载请注明:转载自 周岳飞博客(http://www.cnblogs.com/zhouyf/) Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作，Spark Streaming 和 Spark Core 的关系如下图（图片来自spark官网）Spar... ...
分类：
其他好文 时间：
2016-05-18 00:25:51
阅读次数：
344
学习参考资料：主：一个号称从事软件开发超过16年的老外的网站Apache官网上的Struts2辅：一本《深入浅出Struts2》一本《Struts2技术内幕》注：笔者会不断修改完善，因为刚开始记笔记，时间比较紧笔记方法：问题——答案式；学习策略：先以运行相关具体内容为主，再进行抽象理论..
分类：
其他好文 时间：
2016-05-16 14:39:00
阅读次数：
179
本节课内容：1、基础排序算法实战2、二次排序算法实战3、更高级别排序算法4、排序算法内幕解密排序在Spark运用程序中使用的比较多，且维度也不一样，如二次排序，三次排序等，在机器学习算法中经常碰到，所以非常重要，必须掌握！所谓二次排序，就是根据两列值进行排序，如下测..
分类：
编程语言 时间：
2016-05-15 00:43:19
阅读次数：
424
本节课分成二部分讲解：一、SparkStreamingonPullingfromFlume实战二、SparkStreamingonPullingfromFlume源码解析先简单介绍下Flume的两种模式：推模式（FlumepushtoSparkStreaming）和拉模式（SparkStreamingpullfromFlume）采用推模式：推模式的理解就是Flume作为缓存，存有..
分类：
Web程序 时间：
2016-05-14 01:25:26
阅读次数：
374
