最近想对自己学的东西做些回顾，想到写博客是个不错的方式，方便他人也有利自己，刚开始写不足之处大家多担待。 编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile)： Spark编译有提供了两种方式： Maven 在 /etc/profi...
分类：
其他好文 时间：
2014-10-02 21:24:03
阅读次数：
412
Spark SQL源码分析之如何查询cache后的table...
分类：
数据库 时间：
2014-10-02 14:51:33
阅读次数：
491
SparkContext是开发Spark应用的入口，它负责和整个集群的交互，包括创建RDD，accumulators and broadcast variables。理解Spark的架构，需要从这个入口开始。...
分类：
其他好文 时间：
2014-10-01 22:56:01
阅读次数：
276
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以.....
分类：
其他好文 时间：
2014-10-01 17:33:51
阅读次数：
456
上篇的博客iOS开发之使用XMPPFramework实现即时通信(一)只是本篇的引子，本篇博客就给之前的微信加上即时通讯的功能，主要是对XMPPFramework的使用。本篇博客中用到了Spark做测试，当然也少不了Openfire服务器，在这就不详述Openfire的安装过程了（网上的教程还是.....
分类：
移动开发 时间：
2014-09-30 13:26:29
阅读次数：
321
1.Storm是什么:Storm简单来说，就是分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点：1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类：
其他好文 时间：
2014-09-29 20:00:11
阅读次数：
225
关于XMPP的理论介绍在本篇博客中就不做赘述了，如何在我们之前的微信中加入XMPP协议来实现通信呢？下面将会介绍一下XMPP的基本的知识，让我们的微信可以实现互联通信。要做的准备工作是要有服务器支持XMPP协议，然后通过spark注册个测试账号，最后就可以通过XMPP用我们已有的账号和密码进行通.....
分类：
移动开发 时间：
2014-09-29 12:25:47
阅读次数：
175
根据论坛上的信息，在Sparkrelease计划中，在Spark 1.3中有将SparkR纳入到发行版的可能。本文就提前展示一下如何安装及使用SparkR.
分类：
其他好文 时间：
2014-09-28 23:55:56
阅读次数：
300
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第13期互动问答分享】Q1：tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用； 国内也有公司在使用；Q2：impala和spark sql如何选择呢？ Impala已经被官方宣布“安乐死”，被...
分类：
其他好文 时间：
2014-09-28 13:04:02
阅读次数：
267
Spark概述
当前，MapReduce编程模型已经成为主流的分布式编程模型，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷，如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年，社区出现了优化改进M...
分类：
其他好文 时间：
2014-09-27 18:23:00
阅读次数：
573
