1、创建项目sp
create new project->scala->NOT SBT->next->设置项目名称'sp'
2、导入相关jar包
File->Project Structure->Libraries->点绿色'+'->java->找到spark-assembly-1.0.0-hadoop2.2.0.jar->OK
按照类似的方法导入scala-compiler.jar,...
分类：
其他好文 时间：
2014-08-03 20:39:35
阅读次数：
262
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
3669: [Noi2014]魔法森林Time Limit:30 SecMemory Limit:512 MBSubmit:106Solved:62[Submit][Status]Description为了得到书法大家的真传，小E同学下定决心去拜访住在魔法森林中的隐士。魔法森林可以被看成一个包含个N...
分类：
其他好文 时间：
2014-08-03 10:08:05
阅读次数：
432
3668: [Noi2014]起床困难综合症Time Limit:10 SecMemory Limit:512 MBSubmit:225Solved:153[Submit][Status]Description21 世纪，许多人得了一种奇怪的病：起床困难综合症，其临床表现为：起床难，起床后精神不佳。...
分类：
其他好文 时间：
2014-08-03 10:07:35
阅读次数：
369
3670: [Noi2014]动物园Time Limit:10 SecMemory Limit:512 MBSubmit:174Solved:92[Submit][Status]Description近日，园长发现动物园中好吃懒做的动物越来越多了。例如企鹅，只会卖萌向游客要吃的。为了整治动物园的不良...
分类：
其他好文 时间：
2014-08-03 10:07:25
阅读次数：
314
Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount，这个需要涉及Kafka集群的搭建，还是说越仔细越好。
分类：
其他好文 时间：
2014-08-02 23:13:04
阅读次数：
267
Delay Constrained Maximum Capacity Path
Time Limit:10000MS Memory Limit:65535KB 64bit IO Format:%I64d
& %I64u
Submit Status
Description
Consider an undirected graph with N vert...
分类：
其他好文 时间：
2014-08-02 18:31:43
阅读次数：
313
最近我在做流式实时分布式计算系统的架构设计，而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近一直在做的系统架构的思路整理出来，形成此文。为什么要参考Storm和Spark，因为没有参照效果可能不会太好，尤其是对于Storm和Spark由了解的同学来说，可能通过对比，更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，...
分类：
其他好文 时间：
2014-08-02 18:25:23
阅读次数：
489
E - WuKong
Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d
& %I64u
Submit Status
Description
Liyuan wanted to rewrite the famous book “Journey to the West” (“Xi Yo...
分类：
其他好文 时间：
2014-08-02 18:23:43
阅读次数：
353
Problem 2148 Moon Game
Accept: 386 Submit: 1080
Time Limit: 1000 mSec Memory Limit : 32768 KB
Problem Description
Fat brother and Maze are playing a kind of special (hentai) game in...
分类：
其他好文 时间：
2014-08-02 13:01:13
阅读次数：
224
