原文来自于:http://bbs.csdn.net/topics/3909611422月份精华资源来了~首先推荐,2014中国大数据技术大会33位核心专家演讲,会议地址:http://bdtc2014.hadooper.cn讲师PDF下载专辑地址戴金权:基于Spark软件栈的下一代大数据分析介文清:...
分类:
其他好文 时间:
2015-01-07 10:42:10
阅读次数:
207
几天前,ThoughtWorks China 咨询师团队召开了一次团结的大会,成功的大会。为期三天的会议,分享的内容并不亚于坊间举行的技术大会,包含了敏捷组织转型、C++重构、敏捷测试体系、持续交付整体解决方案、Spark 执行模型、机器学习、Scala 代码操练。课题五花八门,争辩激烈精彩。 .....
分类:
其他好文 时间:
2015-01-06 13:46:01
阅读次数:
246
1、什么是Spark? Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MadReduce所具有的优点;但不同于MapReduce的是Job中间输出的结果可以....
分类:
其他好文 时间:
2015-01-05 18:11:16
阅读次数:
323
安装完Darwin Streaming Server,就可以使用VLC通过RTSP协议播放流媒体文件了。但是我现在有一个需求,需要将一台DSS(假设为A机)上的媒体文件发送到另一台DSS(假设为B机)上,客户端VLC通过访问B机来播放A机的媒体文件,也就是使用B机作为转发服务器。在网上找了很多关于配...
How to setup Darwin Streaming Server 6.0.3 on 32 or 64 bit Linux platforms, add custom functionality by developing plugins ("modules" as Apple calls t...
RDD(Resilient Distributed DataSet)弹性分布式数据集,是Spark的核心数据结构。
DSM(Distributed Shared Memory)分布式共享内存,它是一种通用的内存数据抽象。在DSM中,应用可以向全局地址空间的任意位置进行读写操作。
RDD与DSM主要区别在于,不仅可以通过批量转换创建(即“写”)RDD,还可以对任意内存位置对写。RDD限制应用执行...
分类:
其他好文 时间:
2015-01-05 13:09:07
阅读次数:
188
在Spark 1.2.0中,Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle,即spark.shuffle.manager 从hash换成了sort,对应的实现类分别是org.apache.spark.shuffle.hash.HashShuffleManager和org.apache.spark.shuffle.sort.SortShuffleManager。
那么Sort BasedShuffle“取代”Hash BasedS...
分类:
其他好文 时间:
2015-01-05 08:17:15
阅读次数:
210
Darwin Streaming Server 安裝操作Darwin Streaming Server是蘋果公司推出的開放源碼、跨平台多媒體串流伺服器, 提供音樂 (mp3) 與影音 (3gp、mp4、mov) 串流播放功能, 可由 Windows Media Player、VLC media pl...
目前主流的流媒体服务器有微软的windows media server、RealNetworks的Helixserver和苹果公司的Darwin Streaming Server. 微软的windows media server只能在windows2000 server和windows 2003 s...