最近更新了spark到1.1.0版本。跑任务出错。 Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.0.5.3-6ceb7982-8940-431c-95a8-25b3684fa0be-libsnappyjava.so: /usr/lib64 ? ? /libstdc++.so.6: ver...
分类：
移动开发 时间：
2014-09-17 13:45:02
阅读次数：
410
第二步：使用Spark的cache机制观察一下效率的提升 ? 基于上面的内容，我们在执行一下以下语句： 发现同样计算结果是15. 此时我们在进入Web控制台： 发现控制台中清晰展示我们执行了两次“count”操作。 现在我们...
分类：
其他好文 时间：
2014-09-17 12:17:22
阅读次数：
246
一、如何选择粗粒度和细粒度 从底层往上引申来理解粗粒度与细粒度。 一层：一个类，具有三个属性值。为了查询这个类的所有实例，细粒度查询的程度为属性值，即依次查询每个实例化对象的属性值，查询三次；粗粒度按对象查询，直接查询该类的所有实例化对象，查询一次。查询结果是相同的，但是查询的方式却不同。这一类.....
分类：
其他好文 时间：
2014-09-17 11:49:12
阅读次数：
180
第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看Web...
分类：
其他好文 时间：
2014-09-17 11:43:42
阅读次数：
286
一：Spark ? ? ?? Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”...
分类：
其他好文 时间：
2014-09-16 19:16:31
阅读次数：
210
利用hadoop streaming框架，帮助我们在map和reduce之间传递数据，通过stdin和stdout.http://wenku.baidu.com/link?url=R1vj6NWV5nv_aVI8P0G5SNzxOyaDsffGeOJrRT6iA9iYHry3w60hJ9CVAtS1...
分类：
编程语言 时间：
2014-09-16 18:54:50
阅读次数：
200
经常在OGG日志文件中看到如下错误：
OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer).
查了metalink，大概说的是extract 和collector 交互的关系，分为STREAMING 和NOSTREAMING 模式，各有各的优势。总的建议如果该错误不是很频繁，建议使用S...
分类：
其他好文 时间：
2014-09-15 12:59:28
阅读次数：
561
Quick Start
Interactive Analysis with the Spark Shell
BasicsMore on RDD OperationsCaching
Standalone ApplicationsWhere to Go from Here
This tutorial provides a quick introduction to using Sp...
分类：
其他好文 时间：
2014-09-15 12:57:48
阅读次数：
258
Spark Programming Guide
OverviewLinking with SparkInitializing Spark
Using the Shell
Resilient Distributed Datasets (RDDs)
Parallelized CollectionsExternal DatasetsRDD Operations
BasicsPa...
分类：
其他好文 时间：
2014-09-15 12:57:39
阅读次数：
192
Spark Streaming Programming Guide
OverviewA Quick ExampleBasic Concepts
LinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreamsTransformations on DStreamsOutput Operatio...
分类：
其他好文 时间：
2014-09-15 12:57:19
阅读次数：
340
