SparkSQL结合SparkStreaming的使用 Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在Sp ...
分类：
数据库 时间：
2017-10-11 17:18:41
阅读次数：
1282
SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。关于MPP和Cube预处理的差异，重复如下： > MPP [1] 的基本思路是增加机器来并行计算，从而提高查询速度。比如扫描8亿记录一台机器要处理1小时，但如果用100台机器来并行处理，就只要一分钟不到。再配合 ...
分类：
数据库 时间：
2017-10-08 11:13:03
阅读次数：
188
引言 Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。 对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景： 前两者都基于的是Hash Join，只不过在hash ...
分类：
数据库 时间：
2017-09-30 13:39:23
阅读次数：
200
relational database every relation has a schema defining fields in columns a set of relations relation: a table with rows and columns schema: name of ...
分类：
数据库 时间：
2017-09-27 10:16:24
阅读次数：
223
1.spark编译版安装 首先去官网下载 http://spark.apache.org/downloads.html 页面上有下载按键点击 之后选择对应的编译的Hadoop版本 2 下载完成之后解压 进入解压文件夹的bin目录 其中 spark-shell 是运行scale语言的命令窗口，pysp ...
分类：
其他好文 时间：
2017-09-23 20:20:34
阅读次数：
135
package testimport java.util.Propertiesimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.{SQLContext, S ...
分类：
数据库 时间：
2017-09-19 16:46:48
阅读次数：
284
验证hive支持的语句，以下语句也被sparkSQL支持：<CREATEDATABASEcvv_db;
SHOWDATABASES;
ALTERDATABASEcvv_dbSETDBPROPERTIES(‘edited-by‘=‘cvv54‘);
USEDEFAULT;
DESCRIBEDATABASEcvv_db;
DROPDATABASEcvv_db;
CREATETABLEt2_part(user_idBIGINT,firstnameSTRING,lastname..
分类：
数据库 时间：
2017-09-08 18:11:58
阅读次数：
188
SparkSQL作为分布式查询引擎：两种方式 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎： beeline SparkSQL作为分布式查询引擎： Spark S ...
分类：
数据库 时间：
2017-09-02 16:46:37
阅读次数：
237
Spark SQL是什么？ 何为结构化数据 sparkSQL与spark Core的关系 Spark SQL的前世今生：由Shark发展而来 Spark SQL的前世今生：可以追溯到Hive Spark SQL的前世今生：Hive 到Shark(在Hive上做改进) Spark SQL的前世今生：S ...
分类：
数据库 时间：
2017-08-31 00:15:26
阅读次数：
256
1、创建Spark Session 2、将RDD隐式转换为DataFrame import spark.implicits._ 3、SparkSession 介绍 spark中包含 sparkContext和 sqlContext两个对象 sparkContext 是操作 RDD 的 sqlCont ...
分类：
数据库 时间：
2017-08-26 22:48:53
阅读次数：
271
