第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看..
分类：
其他好文 时间：
2014-09-17 15:35:23
阅读次数：
232
最近更新了spark到1.1.0版本。跑任务出错。 Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.0.5.3-6ceb7982-8940-431c-95a8-25b3684fa0be-libsnappyjava.so: /usr/lib64 ? ? /libstdc++.so.6: ver...
分类：
移动开发 时间：
2014-09-17 13:45:02
阅读次数：
410
第二步：使用Spark的cache机制观察一下效率的提升 ? 基于上面的内容，我们在执行一下以下语句： 发现同样计算结果是15. 此时我们在进入Web控制台： 发现控制台中清晰展示我们执行了两次“count”操作。 现在我们...
分类：
其他好文 时间：
2014-09-17 12:17:22
阅读次数：
246
一、如何选择粗粒度和细粒度 从底层往上引申来理解粗粒度与细粒度。 一层：一个类，具有三个属性值。为了查询这个类的所有实例，细粒度查询的程度为属性值，即依次查询每个实例化对象的属性值，查询三次；粗粒度按对象查询，直接查询该类的所有实例化对象，查询一次。查询结果是相同的，但是查询的方式却不同。这一类.....
分类：
其他好文 时间：
2014-09-17 11:49:12
阅读次数：
180
第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看Web...
分类：
其他好文 时间：
2014-09-17 11:43:42
阅读次数：
286
一：Spark ? ? ?? Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”...
分类：
其他好文 时间：
2014-09-16 19:16:31
阅读次数：
210
Quick Start
Interactive Analysis with the Spark Shell
BasicsMore on RDD OperationsCaching
Standalone ApplicationsWhere to Go from Here
This tutorial provides a quick introduction to using Sp...
分类：
其他好文 时间：
2014-09-15 12:57:48
阅读次数：
258
Spark Programming Guide
OverviewLinking with SparkInitializing Spark
Using the Shell
Resilient Distributed Datasets (RDDs)
Parallelized CollectionsExternal DatasetsRDD Operations
BasicsPa...
分类：
其他好文 时间：
2014-09-15 12:57:39
阅读次数：
192
Spark Streaming Programming Guide
OverviewA Quick ExampleBasic Concepts
LinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreamsTransformations on DStreamsOutput Operatio...
分类：
其他好文 时间：
2014-09-15 12:57:19
阅读次数：
340
Spark SQL Programming Guide
OverviewGetting StartedData Sources
RDDs
Inferring the Schema Using ReflectionProgrammatically Specifying the Schema
Parquet Files
Loading Data Programmaticall...
分类：
数据库 时间：
2014-09-15 12:56:59
阅读次数：
315
