Spark Programming Guide
OverviewLinking with SparkInitializing Spark
Using the Shell
Resilient Distributed Datasets (RDDs)
Parallelized CollectionsExternal DatasetsRDD Operations
BasicsPa...
分类：
其他好文 时间：
2014-09-15 12:57:39
阅读次数：
192
Spark Streaming Programming Guide
OverviewA Quick ExampleBasic Concepts
LinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreamsTransformations on DStreamsOutput Operatio...
分类：
其他好文 时间：
2014-09-15 12:57:19
阅读次数：
340
Spark SQL Programming Guide
OverviewGetting StartedData Sources
RDDs
Inferring the Schema Using ReflectionProgrammatically Specifying the Schema
Parquet Files
Loading Data Programmaticall...
分类：
数据库 时间：
2014-09-15 12:56:59
阅读次数：
315
题目：历史上有一些事件发生的先后顺序，现在有很多学生写了不同的顺序表，
判断每个学生的最大的前后顺序正确的序列。
分析：dp，LIS，最大上升子序列。
注意本题的数据格式，串里的每个元素对应于：对应下标编号的事件在表中的位置；
状态：F（n）记录以第n个元素为结束元素的序列的最长上升子序列，有转移方程：
F...
分类：
其他好文 时间：
2014-09-15 11:17:48
阅读次数：
252
2014年9月11日，Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署，请参看笔者博客Spark1.1.0 源码编译和部署包生成 。
Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1.0主要的变动有：
增加了JDBC/ODBC Server（ThriftServer），...
分类：
数据库 时间：
2014-09-15 10:05:48
阅读次数：
306
目前 Spark SQL 不支持自定义UDF ，底层 SQL 引擎用的 catalyst 。
在SqlContext 中 有一个 Analyzer
@transient
protected[sql]
lazy
val
analyzer:
Analyzer =
new
Analyzer(catalog, Em...
分类：
数据库 时间：
2014-09-13 22:50:26
阅读次数：
339
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段：package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类：
数据库 时间：
2014-09-13 18:42:05
阅读次数：
497
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th...
分类：
数据库 时间：
2014-09-13 18:30:55
阅读次数：
468
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意：在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类：
数据库 时间：
2014-09-13 17:10:25
阅读次数：
512
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。 工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）...
分类：
移动开发 时间：
2014-09-13 17:10:15
阅读次数：
379
