效果1：
效果2：
效果3：
//[2].创建主题文字 : gameTitle
Sprite* gameTitle = Sprite::create("game_title.png");
//获取尺寸大小
Size clipSize = gameTitle->getContentSize();
//[3].创建底板的发光图片 : spark
Sprit...
分类：
其他好文 时间：
2015-01-27 18:29:11
阅读次数：
295
先看一下原理性的文章：http://jerryshao.me/architecture/2013/10/08/spark-storage-module-analysis/，http://jerryshao.me/architecture/2013/10/08/spark-storage-module...
分类：
其他好文 时间：
2015-01-27 17:49:18
阅读次数：
337
首先以spark的本地模式测试spark API，以local的方式运行spark-shell： 先从parallelize入手吧： map操作后结果： 下面看下 filter操作： filter执行结果： 我们用最正宗的scala函数式编程的风格： 执行结果： 从...
这次 我们以指定executor-memory参数的方式来启动spark-shell：
启动成功了
在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看web页面：
从hdfs上读取文件：
在命令行中返回的MappedRDD，使用toDebugString，可以查看其line...
Spark submit任务到Spark集群时，会出现如下异常：Exception 1：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered an...
分类：
其他好文 时间：
2015-01-27 12:58:49
阅读次数：
1082
转自：http://blog.csdn.net/u014252240/article/details/41810849发布人：南京大学PASA大数据实验室顾荣1. Tachyon是什么Tachyon（/'tæki:??n/ 意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为...
分类：
其他好文 时间：
2015-01-27 10:53:42
阅读次数：
3558
Spark是基于内存的大数据分析平台，由UC Berkely AMP lab发布的一大神器。相比Hadoop而言，其最大的优势是基于内存，这样可以极大提高其速度和通用性。本文从最简单的安装到第一个应用脚本，引导初学者入门。。。。...
分类：
其他好文 时间：
2015-01-27 00:39:23
阅读次数：
322
场景：使用Spark Streaming接收实时数据与关系型数据库中的表进行相关的查询操作；使用技术：Spark Streaming + Spark JDBC External DataSources代码雏形：package com.luogankun.spark.streamingimport o...
分类：
数据库 时间：
2015-01-26 15:03:00
阅读次数：
275
问题1：reduce task数目不合适 解决方案： 需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开...
分类：
其他好文 时间：
2015-01-26 13:50:06
阅读次数：
222
下面看下union的使用：
使用collect操作查看一下执行结果：
再看下groupByKey的使用：
执行结果：
join操作就是一个笛卡尔积操作的过程，如下示例：
对rdd3和rdd4执行join操作：
使用collect查看执行结果：
可以看出join操作完全就是一个笛卡尔积的操作...
