http://www.cnblogs.com/dudu/archive/2013/06/08/iis_webserver_settings.html (支持高并发的IIS Web服务器常用设置)http://zzstudy.offcn.com/archives/13148 (windows 2008...
分类：
其他好文 时间：
2014-12-29 20:02:50
阅读次数：
489
1、下载并编译spark源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持tarxzf~/source/spark-1..
分类：
其他好文 时间：
2014-12-29 18:36:06
阅读次数：
5133
免农CH Round #54 - Streaming #5 (NOIP模拟赛Day1)描述（如果你想更好地理解本题，请先阅读NOI2011第一试“兔农”一题）萌蛋近年收入不景气，正在她发愁如何能多赚点钱时，她听到隔壁的小朋友在讨论免子繁殖的问题。（注：免子是一种简单的单细胞生物）问题是这样的：时刻0...
分类：
其他好文 时间：
2014-12-29 00:55:00
阅读次数：
214
Scala基本概念 +IDE 推荐：《Scala编程》1 基本概念 在Spark开发中，Scala被认为是目前和Spark兼容最好的语言。 Scala运行在标准的java平台，可以与java无缝交互。 Scala是一种把面向对象和函数式编程加入静态类型语言的混合体。 特点： 面向对象 Sc...
分类：
其他好文 时间：
2014-12-28 15:23:39
阅读次数：
636
HTTP Adaptive Streaming简称HAS，中文名称为码流自适应。随着这几年移动终端对视频播放需求的增长，HAS技术慢慢火热起来。HAS技术中流媒体服务器端需要准备各种码率的媒体数据，然后对每种码率的媒体数据都进行切割分片，每个切片时长一直，大概2~10秒钟，每个切片由一个完整的GOP...
分类：
Web程序 时间：
2014-12-26 18:11:42
阅读次数：
244
近期开始研究学习spark，开发环境有多种，由于习惯使用STS的maven项目，但是按照许多资料的方法尝试以后并没有成功，也可能是我环境问题；也可以是用scala中自带的eclipse，但是不太习惯，听说支持也不太好，好多问题；咨询一些人后说，IDEA对scala的支持比较好。所以尝试使用IDE.....
分类：
其他好文 时间：
2014-12-26 16:13:26
阅读次数：
196
简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
三，Spark的RDD在Spark中一切都是以RDD为基础和核心的：每个RDD的API如下所示：Spark官方文档中给出了的众多的RDD：RDD中的操作分为transformations和actions两种：下面举一个例子来说明RDD的使用：另外有两个特殊的RDD:他们都是controllingop...
分类：
其他好文 时间：
2014-12-26 14:25:08
阅读次数：
116
三，深入RDD RDD本身是一个抽象类，具有很多具体的实现子类：RDD都会基于Partition进行计算：默认的Partitioner如下所示：其中HashPartitioner的文档说明如下：另外一种常用的Partitioner是RangePartitioner：RDD在持久化的需要考虑内存策略：...
分类：
其他好文 时间：
2014-12-26 14:21:43
阅读次数：
183
一、以RDD为基石的Spark编程模型 在Spark中一切都是基于RDD的：什么是RDD呢？官方给出的解释是：也就是说每个RDD都至少有以下三个函数实现:Spark自带了非常多的RDD:RDD主要分为两种：其中的transformations是lazyexecution的，需要具体的action去触...
分类：
其他好文 时间：
2014-12-26 14:20:16
阅读次数：
177
