1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用...
分类：
其他好文 时间：
2014-10-14 00:50:57
阅读次数：
423
2014-10-13Spark亚太研究院2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业者、Spark技术爱...
分类：
其他好文 时间：
2014-10-14 00:26:37
阅读次数：
215
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类：
Web程序 时间：
2014-10-13 22:30:37
阅读次数：
500
Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spa...
分类：
编程语言 时间：
2014-10-13 14:23:49
阅读次数：
258
在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spa...
分类：
编程语言 时间：
2014-10-13 07:52:29
阅读次数：
214
mod_h264 streaming可以使lighttpd支持mp4格式，安装见下文...
分类：
Web程序 时间：
2014-10-11 21:15:26
阅读次数：
288
编译 hadoop 版本的命令如下，可以直接使用 make-distribution.sh 脚本来编译，命令如下：
./make-distribution-noclean.sh --tgz -Pyarn -Phive -Phadoop-2.4 -Dhadoop.version=2.4.0
然后就在当前目前会生成一个 tgz 的文件。
如果是编译 cdh 版本的话，参考命令如下：
./mak...
分类：
其他好文 时间：
2014-10-11 15:19:35
阅读次数：
204
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPA...
分类：
编程语言 时间：
2014-10-10 23:51:34
阅读次数：
528
第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件的最小化配置，core-site.xml各项配置可..
分类：
其他好文 时间：
2014-10-10 17:15:24
阅读次数：
210
第四步修改配置文件slaves，如下所示： 我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为： 第五步修改配置文件core-site.xml，如下所示： 把core-site.xml文件的内容修改为...
分类：
其他好文 时间：
2014-10-10 11:56:15
阅读次数：
118
