简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Execut... ...
分类：
数据库 时间：
2017-11-26 18:40:39
阅读次数：
260
1、安装hadoop集群参考：http://www.cnblogs.com/wcwen1990/p/6739151.html2、安装hive参考：http://www.cnblogs.com/wcwen1990/p/6757240.html3、安装配置spark编译spark：http://www.... ...
分类：
数据库 时间：
2017-11-26 17:47:54
阅读次数：
194
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
Web程序 时间：
2017-11-12 12:36:55
阅读次数：
252
Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。简单来说Spark是 内存迭代计 ...
分类：
其他好文 时间：
2017-10-29 15:17:07
阅读次数：
179
1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量 ...
分类：
数据库 时间：
2017-10-29 13:45:37
阅读次数：
237
在进行spark sql数据库操作中，常常需要一些spark系统本身不支持的函数，如获取某一列值中的字符串。 如要获取 “aaaakkkkk”中的第4－第8个字符。 针对这种需求，只有设置UDF来实现了。 如 val fun:((String,Int,Int) => String) = (args: ...
分类：
数据库 时间：
2017-10-27 01:54:59
阅读次数：
240
sparksql结合hive最佳实践一、Spark SQL快速上手1、Spark SQL是什么Spark SQL 是一个用来处理结构化数据的spark组件。它提供了一个叫做DataFrames的可编程抽象数据模型，并且可被视为一个分布式的SQL查询引擎。2、Spark SQL的基础数据模型 Data ...
分类：
数据库 时间：
2017-10-20 18:41:12
阅读次数：
235
DMP用户画像系统（SparkGraphXSparkCoreSparkSQL）课程观看地址：http://www.xuetuwuyou.com/course/221课程出自学途无忧网：http://www.xuetuwuyou.comDMP系统用户画像也称人物角色，是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型，即真实用户..
分类：
数据库 时间：
2017-10-18 11:19:59
阅读次数：
321
前两天，由于系统的架构设计的原因，想通过Java直接访问Hive数据库，对于我这个Java以及Hadoop平台的菜鸟来说，的确是困难重重，不过，还好是搞定了。感觉也不是很麻烦。这篇文章，作为一个感想记录下来。( 作者：yangyang8848) 一、Hive的访问方式 一般情况下，Hive是不能直接 ...
分类：
数据库 时间：
2017-10-14 18:38:41
阅读次数：
419
