从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
最近帮同学做毕设,一个物流管理系统,一个点餐系统,用注解开发起来还是很快的,就是刚开始搭环境费了点事,今天把物流管理系统的一部分跟环境都贴出来,有什么不足的,请大神不吝赐教。
1、结构如下 2、jar包如下 3、首先是spring.xml ...
分类:
编程语言 时间:
2014-05-07 19:44:39
阅读次数:
565
时间:5月4日晚上9点地点:信息学院楼组员5月4日今日完成任务5月5日明天计划任务杨波编代码,调试;调试整合代码;周亚豪按钮实现界面跳转,学习了控件的使用;将数据库与界面连接;崔海营完成数据库的录入;帮助周亚豪将数据库与界面连接;闵芮代码调试完成,解决了所有错误;调模拟器;高琪实现了启动软件用图片覆...
分类:
其他好文 时间:
2014-05-07 18:35:55
阅读次数:
325
Spring整合JUnit框架进行单元测试代码使用详解,代码下载地址:http://www.zuidaima.com/share/1775457756285952.htm...
分类:
编程语言 时间:
2014-05-07 12:32:30
阅读次数:
374
移动pc多平台运营级家校互动平台系统源码转让产品包含WEB端/android/IOS端功能完善,具体请联系团队QQ2768232187“学校信息”是一个为学校、校长、老师、家长解决信息获娶风险防控、资讯发布、招生宣传、家校交流等一系列学校信息化问题的整体解决方案。产品整合学校官方网站、..
分类:
移动开发 时间:
2014-05-07 11:40:12
阅读次数:
450
InterProScan的三种使用方法Interproscan,通过蛋白质结构域和功能位点数据库预测蛋白质功能。是EBI开发的一个集成了蛋白质家族、结构域和功能位点的非冗余
数据库。Interproscan整合了一些使用最普及的一些数据库,并应用于功能未知的蛋白进行Interpro注释和GO注释。以...
分类:
其他好文 时间:
2014-05-07 09:11:32
阅读次数:
1230
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。
补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。
UDFs
通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:
其他好文 时间:
2014-05-07 05:10:44
阅读次数:
567
HDFSEventSink是flume中一个很重要的sink,配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。
HDFSEventSink算是一个比较复杂的sink,包下涉及的源代码文件数多达13个。。。可配置的参数众多。。。希望...
分类:
其他好文 时间:
2014-05-07 02:06:05
阅读次数:
563
packagecom.lavasoft.ntv.web.common;
importcom.github.cage.Cage;
importcom.github.cage.IGenerator;
importorg.springframework.beans.factory.annotation.Autowired;
importorg.springframework.beans.factory.annotation.Qualifier;
importorg.springframework.stereotyp..
分类:
编程语言 时间:
2014-05-06 17:38:55
阅读次数:
753
官方的色调单一,随机色也不随机,黑不拉几的,很难看。为此做了扩展实现,并整合了springmvc,生成的验证码漂亮多了。官网:http://code.google.com/p/patchca/官方效果:下面是我整合到spring并修扩展后的效果:packagecom.lavasoft.ntv.web;
importorg.patchca.color.ColorF..
分类:
编程语言 时间:
2014-05-06 16:21:28
阅读次数:
571