1 import org.apache.spark.sql.SparkSession 2 val spark = SparkSession 3 .builder() 4 .appName("Spark SQL basic example") 5 .getOrCreate() 6 //引入Spark的... ...
分类：
数据库 时间：
2018-04-22 18:40:24
阅读次数：
277
SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hbase配置: 拷贝HBase的相关jar包到Spark节点上的$SPARK_HOME/lib目录下，清单如下： guava-14.0.1.jar htrace-core-3.1.0-incubating.jar hbase ...
分类：
数据库 时间：
2018-04-16 18:43:20
阅读次数：
166
前提条件（环境要求） jdk版本：1.7+ scala版本：1.10.4+ maven版本：3.3.3+ 本博客中使用的软件版本 spark版本：spark-1.6.1.tar.gz（源码） jdk版本：jdk-8u151-linux-x64.tar.gz maven版本：apache-maven- ...
分类：
其他好文 时间：
2018-04-10 15:10:06
阅读次数：
185
1)、 CAST和CONVERT的用法 SQL中的cast和convert都是用来将一种数据类型的表达式转换为另一种数据类型的表达式。 CAST和CONVERT提供相似的功能，只是语法不同。 在时间转化中一般用到convert,因为它比cast多加了一个style,可以转化成不同时间的格式。 使用 ...
分类：
数据库 时间：
2018-04-02 13:41:51
阅读次数：
3275
本文主要介绍SparkSQL的优化器系统Catalyst，其设计思路基本都来自于传统型数据库，而且和大多数当前的大数据SQL处理引擎设计基本相同（Impala、Presto、Hive（Calcite）等），因此通过本文的学习也可以基本了解所有其他SQL处理引擎的工作原理。 SQL优化器核心执行策略主 ...
分类：
数据库 时间：
2018-03-18 20:05:41
阅读次数：
356
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2018-03-08 10:36:17
阅读次数：
183
==>什么是SparkSQL？--->SparkSQL是Spark用来处理结构化数据的一个模块--->作用：提供一个编程抽象（DataFrame）并且作为分布式SQL查询引擎--->运行原理：将SparkSQL转化为RDD，然后提交到集群执行--->特点：----容易整合----统一的数据访问方式----兼容Hive----标准的数据连接----==>DataFrames组织成命名列的数据集，等同
分类：
数据库 时间：
2018-03-07 13:26:08
阅读次数：
1623
http://blog.csdn.net/wtq1993/article/details/52435563 http://blog.csdn.net/yeruby/article/details/51448188 hive on spark VS SparkSQL VS hive on tez 前一 ...
分类：
数据库 时间：
2018-03-01 13:32:46
阅读次数：
214
最近用hive比较多，虽然效率低，但是由于都是T+1的业务模式。所以也就不要求太多了，够用就行。其中用的吧比较多就是时间了，由于大数据中很多字段都不是标准的时间类型字段，所以期间涉及了很多的时间日期字段的处理，这里做一个汇总。一遍以后查询使用。也方便大家学习。 下面列举几个用的比较多的情况进行说明： ...
分类：
其他好文 时间：
2018-02-27 17:35:53
阅读次数：
2765
