Spark的各种运行模式虽然启动方式，运行位置，调度手段有所不同，但它们所要完成的任务基本都是一致的，就是在合适的位置安全可靠的根据用户的配置和Job的需要管理和运行Task，这里粗略的列举一下在运行调度过程中各种需要考虑的问题环境变量的传递 Jar包和各种依赖文件的分发 Task的管理和序列化等 ...
分类：
其他好文 时间：
2015-09-08 18:35:08
阅读次数：
124
随着Spark的逐渐成熟完善,越来越多的可配置参数被添加到Spark中来,本文试图通过阐述这其中部分参数的工作原理和配置思路,和大家一起探讨一下如何根据实际场合对Spark进行配置优化。由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config...
分类：
其他好文 时间：
2015-09-08 18:15:39
阅读次数：
285
随着Spark的逐渐成熟完善,越来越多的可配置参数被添加到Spark中来,本文试图通过阐述这其中部分参数的工作原理和配置思路,和大家一起探讨一下如何根据实际场合对Spark进行配置优化。由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config...
分类：
其他好文 时间：
2015-09-08 18:15:35
阅读次数：
288
随着Spark的逐渐成熟完善,越来越多的可配置参数被添加到Spark中来,本文试图通过阐述这其中部分参数的工作原理和配置思路,和大家一起探讨一下如何根据实际场合对Spark进行配置优化。由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config...
分类：
其他好文 时间：
2015-09-08 18:14:11
阅读次数：
275
应用属性属性名缺省值意义spark.app.name(none)The name of your application. This will appear in the UI and in log data.spark.master(none)The cluster manager to conn...
分类：
其他好文 时间：
2015-09-08 18:13:39
阅读次数：
384
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
使用安装包：scala-2.10.3.tgzspark-0.9.0-incubating-bin-hadoop2.tgzhadoop-2.3.0-cdh5.0.0.tar.gzjdk1.7.0_45下载地址：http://mirror.bit.edu.cn/apache/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2.tgzhttp://archive.cloudera.com/cdh5/cdh/5/下载..
分类：
其他好文 时间：
2015-09-08 16:51:20
阅读次数：
250
https://spark.apache.org/docs/1.2.1/tuning.html Data Serialization spark现在提供Java serialization和Kryo serialization库 Java serialization比较慢，Kryo serialization比较快 Memory Tuning Determinin...
分类：
其他好文 时间：
2015-09-07 19:51:28
阅读次数：
176
spark 恢复机制使用的监控 https://mmonit.com/monit/ Up and running in 15 minutes! With all features needed for system monitoring and error recovery. It‘s like having a watchdog with a toolbox on you...
分类：
其他好文 时间：
2015-09-07 18:06:11
阅读次数：
130
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、实例演示1.1流数据模拟器1.1.1流数据说明在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能：通过Socket方式监听指定的端口号...
分类：
其他好文 时间：
2015-09-07 08:16:56
阅读次数：
350
