和yarn-cluster模式一样，整个程序也是通过spark-submit脚本提交的。但是yarn-client作业程序的运行不需要通过Client类来封装启动，而是直接通过反射机制调用作业的main函数。下面就来分析： 1、通过Spa...
分类：
其他好文 时间：
2015-08-19 17:54:06
阅读次数：
416
文章http://blog.csdn.net/lili72/article/details/41130743 lili72数据平台： 一、 hadoop平台：Hbase。hive,storm,spark 1） 部署hadoop到多台机器，调整配置參数，保证正常...
分类：
其他好文 时间：
2015-08-19 11:06:48
阅读次数：
141
1.在IDEA上建立一个sparksql_mysql的scala对象。2.连接mysql的代码如下import java.sql.{DriverManager, PreparedStatement, Connection}import org.apache.spark.rdd.JdbcRDDimpo...
分类：
数据库 时间：
2015-08-19 10:46:20
阅读次数：
207
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。...
分类：
其他好文 时间：
2015-08-19 09:29:03
阅读次数：
241
序列化和反序列化前边提到，TorrentBroadcast的关键就在于特制的序列化和反序列化方法。1.1版的TorrentBroadcast实现了自己的readObject和writeObject方法，但是1.4.1版的TorrentBroadcast没有实现自己的readObject方法，那么它是...
分类：
其他好文 时间：
2015-08-19 09:25:12
阅读次数：
143
package com.dt.scala.list
abstract class Big_Data
class Hadoop extends Big_Data
class Spark extends Big_Data
object List_Constructor_Internals {
def main(args: Array[String]): Unit = {
val had...
分类：
其他好文 时间：
2015-08-19 08:15:00
阅读次数：
198
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、 Spark运行架构1.1术语定义lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver...
分类：
其他好文 时间：
2015-08-19 07:06:38
阅读次数：
244
import?org.apache.spark._
import?SparkContext._
import?org.apache.spark.SparkConf
import?java.util.Date
import?java.text.SimpleDateFormat
import?org.apache.hadoop.io.Text
import?org.apache....
分类：
其他好文 时间：
2015-08-18 16:52:02
阅读次数：
143
scala相较于java，代码就精简很多了： import?org.apache.spark._?
import?SparkContext._?
object?SecondarySort?{
??def?main(args:?Array[String])?{
????val?sparkConf?=?new?SparkConf()...
分类：
编程语言 时间：
2015-08-18 14:26:51
阅读次数：
224
hadoop mr 或者 spark 操作 hbase时候就出现这个错误
这是hbase的bug,可在jira上看到该问题:https://issues.apache.org/jira/browse/HBASE-10304报错信息:15/08/17 19:28:33 ERROR yarn.ApplicationMaster: User class threw exception: org.apa...
分类：
数据库 时间：
2015-08-18 14:17:11
阅读次数：
530
