码迷,mamicode.com
首页 >  
搜索关键字:spark 安装、介绍    ( 7164个结果
Openfire服务器和Spark客户端配置
一、Openfire服务器的配置   关于之前一直在进行的聊天app的项目,我们还没有完成,这次我们介绍一下,Openfire服务器的配置。 1.Openfire下载   Openfire下载地址:http://www.igniterealtime.org/     在屏幕的右侧有个Openfire3.9.3,这个是目前最新的版本。   2.安装   一...
分类:其他好文   时间:2015-04-22 18:34:10    阅读次数:141
即时通讯之smack客户端配置
之前学习了通过Openfire+spark+smack的模式来完成我们的即时通讯软件,上次我们已经完成了Openfire的安装和配置,这次我们继续完成我们的客户端部分。     1.首先我们通过百度smack来下载我们所需要的jar包,将下载好的jar包导入到我们的工程中,创建一个工具类XmppTool: package com.xmpp.client.util; import org.j...
分类:系统相关   时间:2015-04-22 15:22:04    阅读次数:179
Learning Spark: Lightning-Fast Big Data Analysis 中文翻译
Learning Spark: Lightning-Fast Big Data Analysis 中文翻译行为纯属个人对于Spark的兴趣,仅供学习。如果我的翻译行为侵犯您的版权,请您告知,我将停止对此书的开源翻译。Translation the book of Learning Spark: Li...
分类:其他好文   时间:2015-04-22 13:20:15    阅读次数:167
Tuning Spark
https://spark.apache.org/docs/1.2.1/tuning.html Data Serialization 数据序列化,对于任意分布式系统都是性能的关键点 Spark默认使用Java serialization,这个比较低效 推荐使用,Kryo serialization,...
分类:其他好文   时间:2015-04-21 22:01:44    阅读次数:172
RAM云存储已经出现了,就是特别贵
据说bat有这种全内存的服务器集群,RAM的问题是,容量上去了就会很费电,而且不方便做持久化,并且成本也不低,一般只能作为缓存、内存数据库,给bat、12306这种高富帅用也有提供内存云存储的服务商:http://www.ucloud.cn/product/umem_main/spark、impal...
分类:其他好文   时间:2015-04-20 23:56:48    阅读次数:168
Build Spark1.3.1 with CDH HADOOP
Build Spark1.3.1 with CDH HADOOP1、找到CDH的版本[root@web02 spark1.3]# hadoop version Hadoop 2.0.0-cdh4.7.0 Subversion file:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4...
分类:其他好文   时间:2015-04-20 16:55:39    阅读次数:114
spark streaming 与 storm的对比
spark stream和storm之间的争论源远流长。。http://xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.htmlhttp://www.slideshare.net/ptgoetz/apa...
分类:其他好文   时间:2015-04-20 16:39:24    阅读次数:198
Spark学习之1:Master启动流程
1. 启动脚本sbin/start-master.sh"$sbin"/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MASTER_IP --port $SPARK_MASTER_PORT --web...
分类:其他好文   时间:2015-04-20 13:06:17    阅读次数:177
Spark学习之2:Worker启动流程
1. 启动脚本sbin/start-slaves.sh# Launch the slavesif [ "$SPARK_WORKER_INSTANCES" = "" ]; then exec "$sbin/slaves.sh" cd "$SPARK_HOME" \; "$sbin/start-slav...
分类:其他好文   时间:2015-04-20 12:55:19    阅读次数:538
Spark学习笔记之SparkRDD
Spark学习笔记之SparkRDD一、 基本概念RDD(resilient distributed datasets)弹性分布式数据集。来自于两方面① 内存集合和外部存储系统② 通过转换来自于其他RDD,如map,filter等2.创建操作(creation operation):RDD的创建由S...
分类:其他好文   时间:2015-04-18 20:29:12    阅读次数:179
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!