经常在OGG日志文件中看到如下错误:
OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer).
查了metalink,大概说的是extract 和collector 交互的关系,分为STREAMING 和NOSTREAMING 模式,各有各的优势。总的建议如果该错误不是很频繁,建议使用S...
分类:
其他好文 时间:
2014-09-15 12:59:28
阅读次数:
561
Quick Start
Interactive Analysis with the Spark Shell
BasicsMore on RDD OperationsCaching
Standalone ApplicationsWhere to Go from Here
This tutorial provides a quick introduction to using Sp...
分类:
其他好文 时间:
2014-09-15 12:57:48
阅读次数:
258
Spark Programming Guide
OverviewLinking with SparkInitializing Spark
Using the Shell
Resilient Distributed Datasets (RDDs)
Parallelized CollectionsExternal DatasetsRDD Operations
BasicsPa...
分类:
其他好文 时间:
2014-09-15 12:57:39
阅读次数:
192
Spark Streaming Programming Guide
OverviewA Quick ExampleBasic Concepts
LinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreamsTransformations on DStreamsOutput Operatio...
分类:
其他好文 时间:
2014-09-15 12:57:19
阅读次数:
340
Spark SQL Programming Guide
OverviewGetting StartedData Sources
RDDs
Inferring the Schema Using ReflectionProgrammatically Specifying the Schema
Parquet Files
Loading Data Programmaticall...
分类:
数据库 时间:
2014-09-15 12:56:59
阅读次数:
315
2014年9月11日,Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署,请参看笔者博客Spark1.1.0 源码编译和部署包生成 。
Spark1.1.0中变化较大是sparkSQL和MLlib,sparkSQL1.1.0主要的变动有:
增加了JDBC/ODBC Server(ThriftServer),...
分类:
数据库 时间:
2014-09-15 10:05:48
阅读次数:
306
目前 Spark SQL 不支持自定义UDF ,底层 SQL 引擎用的 catalyst 。
在SqlContext 中 有一个 Analyzer
@transient
protected[sql]
lazy
val
analyzer:
Analyzer =
new
Analyzer(catalog, Em...
分类:
数据库 时间:
2014-09-13 22:50:26
阅读次数:
339
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段:package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类:
数据库 时间:
2014-09-13 18:42:05
阅读次数:
497
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th...
分类:
数据库 时间:
2014-09-13 18:30:55
阅读次数:
468
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便;当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意:在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类:
数据库 时间:
2014-09-13 17:10:25
阅读次数:
512