这一节介绍具体task的运行以及最终结果的处理
看线程运行的run方法，见代码注释
override def run(): Unit = {
val taskMemoryManager = new TaskMemoryManager(env.executorMemoryManager)
val deserializeStartTime = System.currentTim...
分类：
其他好文 时间：
2015-08-31 19:38:42
阅读次数：
137
之前写过一篇这个文章：http://blog.csdn.net/stark_summer/article/details/47361603，那个时候 linux环境 spark 使用snappy方式压缩任然不好用，而今天我同事hive on hadoop 使用snappy压缩方式也报这个错，此刻的我，感觉这个问题 一定要解决
我想了想，只能使用最笨的方式先解决这个问题了，将libsnappyja...
分类：
移动开发 时间：
2015-08-31 17:20:25
阅读次数：
467
当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四个城市举办，其中仅北京就成功举办了5次，内容更涵盖Spark Core、Spark Streaming、Spark MLlib、Spark SQL等众多领域。而作为较早关注和引入Spark的移动互联网大数据综合服务公司，Ta...
分类：
其他好文 时间：
2015-08-31 13:40:47
阅读次数：
354
概述
什么是Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习...
分类：
其他好文 时间：
2015-08-31 13:39:50
阅读次数：
279
org.apache.spark.rddRDDabstract class RDD[T] extends Serializable with LoggingA Resilient Distributed Dataset (RDD), the basic abstraction in Spark. R...
分类：
其他好文 时间：
2015-08-31 13:20:40
阅读次数：
163
SparkSQL引入了一种新的RDD——SchemaRDD，SchemaRDD由行对象（Row）以及描述行对象中每列数据类型的Schema组成；SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外，还可以通过registerTempTable注册成临时表，然后通过SQL语...
分类：
数据库 时间：
2015-08-31 10:08:08
阅读次数：
377
1 /// 定义一个函数AddNoise，参数分别为rdd,Fraction。其中rdd为（BreezeDenseMatrix， BreezeDenseMatrix）元组构成的RDD。Fraction为一个Double。返回一个（BreezeDenseMatrix， BreezeDenseMa...
分类：
其他好文 时间：
2015-08-30 22:37:58
阅读次数：
189
MovieLens 100k数据包含有100，000条用户与电影的相关数据。
首先下载并解压数据：wget http://files.grouplens.org/datasets/movielens/ml-100k.zip
unzip ml-100k.zip
cd ml-100k
#用户文件(ID,年龄,性别,职业,邮编)
zhf@ubuntu:~/Downloads/ml-100k$ head...
分类：
其他好文 时间：
2015-08-30 21:25:57
阅读次数：
250
“RDD是由不同的partition组成的，transformation和action是在partition上面进行的；而在storage模块内部，RDD又被视为由不同的block组成，对于RDD的存取是以block为单位进行的，本质上partition和block是等价的，只是看待的角度不同。在S...
分类：
Web程序 时间：
2015-08-30 15:35:01
阅读次数：
401
package com.leegh.parameterizationimport scala.reflect.ClassTag/** * @author Guohui Li */class A[T]object Manifest_ClassTag { def main(args: Array[St....
分类：
其他好文 时间：
2015-08-30 12:38:23
阅读次数：
167
