一、搬砖 vs. 分布式计算 一个人搬砖很累，几个人一起搬就会轻松很多，也会快很多： 分布并行计算和几个人一起搬砖的意思是一致的，一个资源密集型的任务（搬砖或计算），需要 一组资源（小伙伴或计算节点），并行...
分类：
Web程序 时间：
2015-09-28 11:56:48
阅读次数：
300
Spark集群环境搭建2015年09月27日中秋节，祝中秋快乐团圆1安装jdk略2安装scala在http://www.scala-lang.orgscala官网下载安装包，这里以scala-2.11.7为例：1）下载scala-2.11.7.tgz2）在目录下解压缩：tar-xzvfscala-2.11.7.tgz3）配置环境变量，在/etc/profile中添加以下的内..
分类：
其他好文 时间：
2015-09-27 11:19:35
阅读次数：
169
XMPP协议（Extensible Messaging and PresenceProtocol，可扩展消息处理现场协议）是一种基于XML的协议，目的是为了解决及时通信标准而提出来的，最早是在Jabber上实现的。它继承了在XML环境中灵活的发展性。因此，基于XMPP的应用具有超强的可扩展性。并且XML很易穿过防火墙，所以用XMPP构建的应用不易受到防火墙的阻碍。利用XMPP作为通用的传输机制...
分类：
移动开发 时间：
2015-09-26 10:40:45
阅读次数：
260
SparkContext这是发达国家Spark入学申请，它负责的相互作用和整个集群，它涉及到创建RDD。accumulators and broadcast variables。理解力Spark架构，我们需要从入口开始。下图是图的官方网站。DriverProgram就是用户提交的程序，这里边定义了S...
分类：
其他好文 时间：
2015-09-25 21:41:36
阅读次数：
535
前置条件说明 Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看...
分类：
其他好文 时间：
2015-09-25 14:47:26
阅读次数：
354
第一章 linux集群spark环境配置一 Spark下载地址; http://spark.apache.org/downloads.html图1 下载spark图2 选择下载地址Spark本身用scala写的，运行在JVM之上。JAVA版本:java 6 /higher edition.Jdk已经...
分类：
系统相关 时间：
2015-09-24 20:59:26
阅读次数：
240
1、我用的Java版本是Version 8 Update 51，验证方法可到这个网址下去验证http://www.java.com/zh_CN/download/installed.jsp2、openfire用的是openfire_3_10_2.dmg3、spark用的是spark_2_6_34、安...
分类：
系统相关 时间：
2015-09-23 23:23:35
阅读次数：
288
网上很多openfire相关资料，这里做下学习汇总openfire官网：http://www.igniterealtime.org/可以下载openfire、spark、smack安装包及源码，安装很简单直接选下一步就好openfire数据库配置：自带数据库：http://www.cnblogs.c...
分类：
其他好文 时间：
2015-09-23 14:52:21
阅读次数：
120
一、简介 于Worker Actor于，每次LaunchExecutor这将创建一个CoarseGrainedExecutorBackend流程。Executor和CoarseGrainedExecutorBackend是1对1的关系。也就是说集群里启动多少Executor实例就有多少Coarse....
分类：
其他好文 时间：
2015-09-22 20:28:22
阅读次数：
203
1、 Spark VSHadoop有哪些异同点？ Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘和数据分析。 Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还...
分类：
其他好文 时间：
2015-09-22 14:30:26
阅读次数：
118
