由于spark-1.3作为一个里程碑式的发布, 加入众多的功能特性,所以,有必要好好的研究一把,spark-1.3需要scala-2.10.x的版本支持,而系统上默认的scala的版本为2.9,需要进行升级, 可以参考ubuntu 安装 2.10.x版本的scala. 配置好scala的环境后,下载...
分类：
系统相关 时间：
2015-04-13 18:07:27
阅读次数：
219
Ubuntu 14.04.1 LTS上默认的scala版本是2.9的，而最新版本的spark-1.3需要最低版本的scala版本为2.10.x，先使用apt-get remove scala将机器上的老版本scala清除干净。在这个位置下载 http://www.scala-lang.org/dow...
分类：
系统相关 时间：
2015-04-13 16:28:46
阅读次数：
132
1、下载源码，根据自己的环境编译，我这里下载的是spark1.3版本本人采用sbt编译，SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=ture sbt/sbt assembly这句代码共有两个参数，第一个是指本机的hadoop环境的版本，第二个参数是指是否在yarn上运...
分类：
其他好文 时间：
2015-04-13 16:21:48
阅读次数：
191
Part 1W3CSchool的MongoDB Java: http://www.w3cschool.cc/mongodb/mongodb-java.htmlMongoDB的Java驱动使用整理: http://blog.163.com/wm_at163/blog/static/1321734902...
分类：
数据库 时间：
2015-04-13 16:05:13
阅读次数：
193
注：1. 编译Spark之前，需要搭建Java和Scala环境，参见http://www.cnblogs.com/kevingu/p/4418779.html。 2. Spark之前使用sbt进行编译，现在建议使用maven并兼容sbt，但会逐步淘汰sbt编译方式。本文使用Maven工具编译Spar...
分类：
其他好文 时间：
2015-04-13 12:17:50
阅读次数：
261
【适用场景不同】 Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析 Spark:是一个基于内存计算的开源的集群计算系统，那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内...
分类：
其他好文 时间：
2015-04-12 22:21:15
阅读次数：
541
配置这个遇到太多问题了，写下来分享首先到官网下载openfire+spark下载地址：http://www.igniterealtime.org/downloads/index.jsp安装 openfire 后如果不是如下图就安装spark会弹出一个框点详细信息下载java环境，安装好，就会和下图一...
分类：
移动开发 时间：
2015-04-12 06:41:55
阅读次数：
174
