码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume 整合 avro netcat    ( 21554个结果
冲刺阶段二:第八天
2014/5/7今日完成问题明日任务华飞简单的调试发布界面和注册界面,修正bug。对一些小问题进行修改,完善,没有什么问题团队集体整合各个模块得出一个内部版本黄冠对自己的模块进行了美化,规范自己的代码没有问题团队集体整合各个模块得出一个内部版本高晓林实现N天后信息自动删除功能有时不能删除团队集体整合...
分类:其他好文   时间:2014-05-09 10:38:56    阅读次数:242
Apache Spark源码走读之6 -- 存储子系统分析
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:其他好文   时间:2014-05-09 05:14:32    阅读次数:405
在eclipse中配置spark 0.9.1源码的开发环境
一、准备工作: 1、下载release版spark 0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。 二、配置工作 1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图: 2...
分类:系统相关   时间:2014-05-09 03:27:34    阅读次数:512
Flex4 Halo组件 List 和 DataGrid
Flex1 到 Flex3 使用的都是 Halo组件,这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。 先写个“食物”的模型 Dinner.as 。 package model { [Bindable] public class Dinner { public...
分类:其他好文   时间:2014-05-09 02:34:26    阅读次数:306
Spork: Pig on Spark实现分析
介绍 Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。 本文分析的是Spork的实现方式和具体内容。 Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。 MR启动器翻译的是MR的操作,以及进一步的MR...
分类:其他好文   时间:2014-05-09 02:08:17    阅读次数:358
EAM系统开发流程
EAM系统开发流程主要包括三个阶段: EAM系统分析 主要是通过规范EAM系统内的信息,进一步把它们整合成一个完整的EAM原型。具体的工作是定义EAM系统中的词汇和建立一组用来生成具有可重用和可配置的概念模型的规范。这些对实施具体系统有指导作用,并且是其基础,类似施工手册。例如,对于资产可以定义为一...
分类:其他好文   时间:2014-05-08 22:46:56    阅读次数:466
主题: 为kindsoft编辑器替换SyntaxHighlighter代码高亮,整合DEDECMS
作者: fmamcn, 发布日期: 2012-09-29 12:28:39, 浏览数: 1567看了狼魂发表的将kindeditor中的代码高亮插件prettify换为SyntaxHighlighter自己试了一下,总有一些问题,后来还是自己研究了一下,找了一些文档,做了一个DeDeCMS本身的标记...
分类:其他好文   时间:2014-05-08 18:29:52    阅读次数:289
plsql语法_存储过程_5.8
转载自http://www.cnblogs.com/younggun/articles/1719937.htmlPL/SQL是ORACLE对标准数据库语言的扩展,ORACLE公司已经将PL/SQL整合到ORACLE 服务器和其他工具中了,近几年中更多的开发人员和DBA开始使用PL/SQL,本文将讲述...
分类:数据库   时间:2014-05-08 18:15:21    阅读次数:520
【转】【SEE】基于SSE指令集的程序设计简介
SSE技术简介Intel公司的单指令多数据流式扩展(SSE,Streaming SIMD Extensions)技术能够有效增强CPU浮点运算的能力。Visual Studio .NET 2003提供了对SSE指令集的编程支持,从而允许用户在C++代码中不用编写汇编代码就可直接使用SSE指令的功能。...
分类:其他好文   时间:2014-05-08 17:33:10    阅读次数:483
Task的执行过程分析
Task的执行过程分析 Task的执行通过Worker启动时生成的Executor实例进行, caseRegisteredExecutor(sparkProperties)=> logInfo("Successfullyregistered with driver") //Make this host instead of hostPort ? executor= newExecuto...
分类:其他好文   时间:2014-05-08 16:01:31    阅读次数:667
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!