第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看..
分类：
其他好文 时间：
2014-09-17 15:35:23
阅读次数：
232
最近更新了spark到1.1.0版本。跑任务出错。 Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.0.5.3-6ceb7982-8940-431c-95a8-25b3684fa0be-libsnappyjava.so: /usr/lib64 ? ? /libstdc++.so.6: ver...
分类：
移动开发 时间：
2014-09-17 13:45:02
阅读次数：
410
第二步：使用Spark的cache机制观察一下效率的提升 ? 基于上面的内容，我们在执行一下以下语句： 发现同样计算结果是15. 此时我们在进入Web控制台： 发现控制台中清晰展示我们执行了两次“count”操作。 现在我们...
分类：
其他好文 时间：
2014-09-17 12:17:22
阅读次数：
246
一、如何选择粗粒度和细粒度 从底层往上引申来理解粗粒度与细粒度。 一层：一个类，具有三个属性值。为了查询这个类的所有实例，细粒度查询的程度为属性值，即依次查询每个实例化对象的属性值，查询三次；粗粒度按对象查询，直接查询该类的所有实例化对象，查询一次。查询结果是相同的，但是查询的方式却不同。这一类.....
分类：
其他好文 时间：
2014-09-17 11:49:12
阅读次数：
180
第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看Web...
分类：
其他好文 时间：
2014-09-17 11:43:42
阅读次数：
286
一：Spark ? ? ?? Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”...
分类：
其他好文 时间：
2014-09-16 19:16:31
阅读次数：
210
鸭子类型：“当看到一只鸟走起来像鸭子、游泳起来像鸭子、叫起来也像鸭子，那么这只鸟就可以被称为鸭子。” 一般在动态语言里面才有，因为静态语言是强类型的，会在编译期检查类型，很难实现。但是Scala作为一门s...
分类：
其他好文 时间：
2014-09-15 23:00:39
阅读次数：
415
单例对象scala没有静态方法和静态字段。scala使用object实现，object定义了单个实例。1 object Accounts {2 private var lastNumber = 0;3 def newUniqueNumber() = { lastNumber += 1; la...
分类：
其他好文 时间：
2014-09-15 17:20:29
阅读次数：
192
简单类和无参方法：1 class Counter {2 private var value = 0; //必须初始化字段3 def increment() = value += 1 //方法默认是公有的4 def current = value5 }使用：1 val counter1 =...
分类：
其他好文 时间：
2014-09-15 17:16:29
阅读次数：
161
Map构造Map不可变：val map = Map("sa" -> 1, "s" -> 2)map("sa") = 3 // errorval emptyMap = newscala.collection.immutable.HashMap[String, Int]可变：val map2 = sca...
分类：
其他好文 时间：
2014-09-15 14:07:08
阅读次数：
252
