在迁移相关的spark程序到yarn的过程中间，对有些地方的配置进行了调整和优化， 总结起来，常用的一些设置如下:
1. spark.serializer 对象的序列化设置可以设置成spark的序列化类型，相对比较高效和紧凑，网络传输性能比较好
2. spark.kryoserializer.buffer.mb 用来设置对象序列化占用空间大小，当对象比较大的时候需要设置这个选项
3. spa...
分类：
其他好文 时间：
2015-06-26 11:03:05
阅读次数：
6192
1、准备工作 ??? scala-2.9.3：一种编程语言，下载地址：http://www.scala-lang.org/download/ ??? spark-1.4.0：必须是编译好的Spark，如果下载的是Source，则需要自己根据环境使用SBT或者MAVEN重新编译才...
分类：
其他好文 时间：
2015-06-25 15:46:03
阅读次数：
222
1、Spark是什么？ ??? ○ 高可伸缩性 ??? ○ 高容错 ????○ 基于内存计算 2、Spark的生态体系（BDAS，中文:伯利克分析栈） ??? ○ MapReduce属于Hadoop生态体系之一，Spark则属于BDAS生态体系之一 ...
分类：
其他好文 时间：
2015-06-25 10:38:30
阅读次数：
318
Spark SQL除了使用spark-sql命令进入交互式执行环境之外，还能够使用JDBC/ODBC或命令行接口进行分布式查询，在这个模式下，终端用户或应用可以直接和Spark SQL进行交互式SQL查询而不需要写任何scala代码。...
分类：
数据库 时间：
2015-06-25 09:06:40
阅读次数：
224
Spark简述Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足
于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式。
特点：
1、轻
Spark 0.6核心代码有2万行，Hadoop1.0为9万行，2.0为22万行。2、快
Spark对小数据集能达到亚秒级的廷迟，这对于Hadoop MapReduce是无法想象的（由于”心跳”间隔机制，...
分类：
其他好文 时间：
2015-06-24 21:03:48
阅读次数：
412
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-06-24 08:10:41
阅读次数：
172
1、安装依赖包yuminstallrsyncgccopenldap-develpython-ldapmysql-develpython-develpython-setuptoolspython-simplejson
sqlite-devellibxml2-devellibxslt-develcyrus-sasl-devel2、下载hue的cdh版本wgethttp://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2...
分类：
其他好文 时间：
2015-06-23 23:24:28
阅读次数：
602
1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path
/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar
--masterspark://hd1:7077--executor-memory2g--total-..
分类：
其他好文 时间：
2015-06-23 23:23:32
阅读次数：
888
spark实战分享
http://bbs.superwu.cn/forum.php?mod=viewthread&tid=850&fromuid=645
更多精彩内容请关注：http://bbs.superwu.cn
关注超人学院微信二维码：...
分类：
其他好文 时间：
2015-06-23 20:13:04
阅读次数：
132
spark实战分享 http://bbs.superwu.cn/forum.php?mod=viewthread&tid=850&fromuid=645 更多精彩内容请关注：http://bbs.superwu.cn 关注超人学院微信二维码：...
分类：
其他好文 时间：
2015-06-23 18:27:26
阅读次数：
92
