公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。
standalone方式的脚本为:
spark-submit --class com.bg.tools...
分类：
其他好文 时间：
2015-06-17 21:36:42
阅读次数：
393
性能优化参数 针对Spark SQL 性能调优参数如下： 代码示例 import?java.util.List;
import?org.apache.spark.SparkConf;
import?org.apache.spark.api.java.JavaSparkContext;
import?org.apache.spark.sql....
分类：
数据库 时间：
2015-06-17 18:38:35
阅读次数：
475
简介 ????????Spark SQL ?provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The ...
分类：
数据库 时间：
2015-06-17 13:36:43
阅读次数：
277
对存在cookie端数据进行加密处理，具体代码如下： 10000, 'name' => 'spark', 'email' => 'spark@imooc.com', 'sex' => 'man', 'age' => '18');header("content-type:t...
分类：
其他好文 时间：
2015-06-17 00:26:22
阅读次数：
204
1、Hive安装 http://blog.csdn.net/an342647823/article/details/46048403 2、Hadoop安装 http://www.itnose.net/detail/6182168.html 3、Spark安装 http://stark-summer.iteye.com/blog/2173219 http://ju.outof...
分类：
其他好文 时间：
2015-06-16 23:10:06
阅读次数：
280
运行环境 集群环境：CDH5.3.0 具体JAR版本如下： spark版本：1.2.0-cdh5.3.0 hive版本：0.13.1-cdh5.3.0 hadoop版本：2.5.0-cdh5.3.0 spark sql的JAVA版简单示例 spark sql直接查询JSON格式的数据 spark sql的自定...
分类：
数据库 时间：
2015-06-16 19:39:20
阅读次数：
394
DStream
如果要用一句话来概括Spark Streaming的处理思路的话，那就是"将连续的数据持久化，离散化，然后进行批量处理"。
让我们来仔细分析一下这么作的原因。
数据持久化 将从网络上接收到的数据先暂时存储下来，为事件处理出错时的事件重演提供可能，
离散化 数据源源不断的涌进，永远没有一个尽头，就像周星驰的喜剧中所说“崇拜之情如黄河之水绵绵不绝，一发而不可收拾...
分类：
其他好文 时间：
2015-06-16 19:17:52
阅读次数：
275
1.云镜像文件下载地址：http：//sahara-files.mirantis.com/sahara-juno-spark-1.0.0-ubuntu-14.04.qcow2（安装有sahara-spark软件的镜像文件）从该网站可以获取ubuntu云镜像文件，该镜像部署在openstack上，它的...
分类：
系统相关 时间：
2015-06-16 14:26:12
阅读次数：
833
网上的安装教程太多了，现在记录下自己的安装历程：
之前安装的时候是参考一篇网帖：Scrapy安装介绍
里面给的链接都已经比较旧了，后来使用发现一些功能没有，无奈打算重新安装个新版的。
首先，我之前使用的python一直是2.7.3，发现pip功能无法直接使用，也不想单独安装了，所以打算直接升级2.7.10，好在之前安装的模块也不多，大不了重新装一遍也很快。装完了2.7.10之后发现之前的模块...
在spark streaming的文档里，有这么一段：def sendPartition(iter): # ConnectionPool is a static, lazily initialized pool of connections connection = Connection...
分类：
其他好文 时间：
2015-06-16 09:15:13
阅读次数：
116
