码迷,mamicode.com
首页 >  
搜索关键字:spark streaming jobscheduler    ( 7564个结果
OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer).
经常在OGG日志文件中看到如下错误: OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer). 查了metalink,大概说的是extract 和collector 交互的关系,分为STREAMING 和NOSTREAMING 模式,各有各的优势。总的建议如果该错误不是很频繁,建议使用S...
分类:其他好文   时间:2014-09-15 12:59:28    阅读次数:561
Spark1.1.0 Quick Start (link)
Quick Start Interactive Analysis with the Spark Shell BasicsMore on RDD OperationsCaching Standalone ApplicationsWhere to Go from Here This tutorial provides a quick introduction to using Sp...
分类:其他好文   时间:2014-09-15 12:57:48    阅读次数:258
Spark1.1.0 Spark Programming Guide
Spark Programming Guide OverviewLinking with SparkInitializing Spark Using the Shell Resilient Distributed Datasets (RDDs) Parallelized CollectionsExternal DatasetsRDD Operations BasicsPa...
分类:其他好文   时间:2014-09-15 12:57:39    阅读次数:192
Spark1.1.0 Spark Streaming Programming Guide
Spark Streaming Programming Guide OverviewA Quick ExampleBasic Concepts LinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreamsTransformations on DStreamsOutput Operatio...
分类:其他好文   时间:2014-09-15 12:57:19    阅读次数:340
Spark1.1.0 Spark SQL Programming Guide
Spark SQL Programming Guide OverviewGetting StartedData Sources RDDs Inferring the Schema Using ReflectionProgrammatically Specifying the Schema Parquet Files Loading Data Programmaticall...
分类:数据库   时间:2014-09-15 12:56:59    阅读次数:315
sparkSQL1.1入门之一:为什么sparkSQL
2014年9月11日,Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署,请参看笔者博客Spark1.1.0 源码编译和部署包生成 。       Spark1.1.0中变化较大是sparkSQL和MLlib,sparkSQL1.1.0主要的变动有: 增加了JDBC/ODBC Server(ThriftServer),...
分类:数据库   时间:2014-09-15 10:05:48    阅读次数:306
Spark SQL UDF
目前 Spark SQL 不支持自定义UDF ,底层 SQL 引擎用的 catalyst 。 在SqlContext 中 有一个 Analyzer @transient   protected[sql] lazy val analyzer: Analyzer =     new Analyzer(catalog, Em...
分类:数据库   时间:2014-09-13 22:50:26    阅读次数:339
SparkSQL使用之JDBC代码访问Thrift JDBC Server
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段:package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类:数据库   时间:2014-09-13 18:42:05    阅读次数:497
SparkSQL使用之Thrift JDBC server
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th...
分类:数据库   时间:2014-09-13 18:30:55    阅读次数:468
SparkSQL使用之Spark SQL CLI
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便;当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意:在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类:数据库   时间:2014-09-13 17:10:25    阅读次数:512
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!