在zeppelin跑spark sql 时抛了空引用的异常： 上stackoverflow查了一下，有人也遇到这个问题。其中的一个原因是自己的环境没有安装hive，却启用了hiveContext，导致出异常。 链接：https://stackoverflow.com/questions/432890 ...
分类：
其他好文 时间：
2018-05-05 19:02:16
阅读次数：
480
Spark作为一个开源数据处理框架，它在数据计算过程中把中间数据直接缓存到内存里，能大大地提高处理速度，特别是复杂的迭代计算。Spark主要包括SparkSQL，SparkStreaming，SparkMLLib以及图计算。Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各种算子实现数据处理和计算。比如用Spark做统计词频，即拿到一串文字进行WordCount，可以把这个文
分类：
其他好文 时间：
2018-04-26 14:54:19
阅读次数：
174
1 import org.apache.spark.sql.SparkSession 2 val spark = SparkSession 3 .builder() 4 .appName("Spark SQL basic example") 5 .getOrCreate() 6 //引入Spark的... ...
分类：
数据库 时间：
2018-04-22 18:40:24
阅读次数：
277
SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hbase配置: 拷贝HBase的相关jar包到Spark节点上的$SPARK_HOME/lib目录下，清单如下： guava-14.0.1.jar htrace-core-3.1.0-incubating.jar hbase ...
分类：
数据库 时间：
2018-04-16 18:43:20
阅读次数：
166
1)、 CAST和CONVERT的用法 SQL中的cast和convert都是用来将一种数据类型的表达式转换为另一种数据类型的表达式。 CAST和CONVERT提供相似的功能，只是语法不同。 在时间转化中一般用到convert,因为它比cast多加了一个style,可以转化成不同时间的格式。 使用 ...
分类：
数据库 时间：
2018-04-02 13:41:51
阅读次数：
3275
本文主要介绍SparkSQL的优化器系统Catalyst，其设计思路基本都来自于传统型数据库，而且和大多数当前的大数据SQL处理引擎设计基本相同（Impala、Presto、Hive（Calcite）等），因此通过本文的学习也可以基本了解所有其他SQL处理引擎的工作原理。 SQL优化器核心执行策略主 ...
分类：
数据库 时间：
2018-03-18 20:05:41
阅读次数：
356
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2018-03-08 10:36:17
阅读次数：
183
==>什么是SparkSQL？--->SparkSQL是Spark用来处理结构化数据的一个模块--->作用：提供一个编程抽象（DataFrame）并且作为分布式SQL查询引擎--->运行原理：将SparkSQL转化为RDD，然后提交到集群执行--->特点：----容易整合----统一的数据访问方式----兼容Hive----标准的数据连接----==>DataFrames组织成命名列的数据集，等同
分类：
数据库 时间：
2018-03-07 13:26:08
阅读次数：
1623
http://blog.csdn.net/wtq1993/article/details/52435563 http://blog.csdn.net/yeruby/article/details/51448188 hive on spark VS SparkSQL VS hive on tez 前一 ...
分类：
数据库 时间：
2018-03-01 13:32:46
阅读次数：
214
最近用hive比较多，虽然效率低，但是由于都是T+1的业务模式。所以也就不要求太多了，够用就行。其中用的吧比较多就是时间了，由于大数据中很多字段都不是标准的时间类型字段，所以期间涉及了很多的时间日期字段的处理，这里做一个汇总。一遍以后查询使用。也方便大家学习。 下面列举几个用的比较多的情况进行说明： ...
分类：
其他好文 时间：
2018-02-27 17:35:53
阅读次数：
2765
