一、Hive的历史价值1，大数据因Hadoop而知名，而Hadoop又因Hive而实用。Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，同时Hive兼具有数据仓库中的存储和查询引擎。而SparkSQL是一个更加出色和高级的查询引擎，并不提供存储功能。所以SparkSQL无法取代Hive，..
分类：
其他好文 时间：
2016-03-14 16:48:05
阅读次数：
296
作者：周志湖1. 获取数据本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍
数据获取命令如下：[root@master spark]# git log --pretty=format:'{"commit":"%H","author":"%an","author_email":"%ae","date":"%ad","message":"%f"}' >...
分类：
数据库 时间：
2016-02-06 10:27:16
阅读次数：
340
sparksql中获取表头信息方法一:可以使用 describetable; 方法二:先SEThive.cli.print.header=true; 然后 select * from table limit 0;代码中的使用直接通过list> tableHead =jdbcBaseDao.getBa...
分类：
其他好文 时间：
2016-01-25 14:46:06
阅读次数：
192
Apache Spark提供了强大的API，以便使开发者为使用复杂的分析成为了可能。通过引入SparkSQL，让开发者可以使用这些高级API接口来从事结构化数据的工作（例如数据库表，JSON文件)，并提供面向对象使用RDD的API，开发只需要调用相关 的方法便可使用spark来进行数据的存储与计.....
分类：
其他好文 时间：
2016-01-11 23:29:39
阅读次数：
250
1：首先配置hive-site.xml javax.jdo.option.ConnectionURL jdbc:postgresql://192.168.56.103:5432/sparksql javax.jdo.option.Connecti...
分类：
数据库 时间：
2016-01-08 20:23:19
阅读次数：
679
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、编译SparkSpark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种...
分类：
其他好文 时间：
2016-01-08 20:05:12
阅读次数：
1175
2016 年1月1日 王老师课堂笔记和作业笔记：王老师主要讲解了spark的发展前景，spark在未来的几十年里必将一统大数据江湖。graphx,mllib,sparkSQL（1）scala语法的基础知识，重点为函数式编程思想。（2）spark源代码查看。作业描述：移除一个数组中第一个负数后的所有负...
分类：
编程语言 时间：
2016-01-02 14:03:27
阅读次数：
205
1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an...
分类：
数据库 时间：
2015-12-31 12:53:47
阅读次数：
970
1 概述（Overview）2 DataFrames2.1 入口：SQLContext（Starting Point: SQLContext）2.2 创建DataFrames（Creating DataFrames）2.3 DataFrame操作（DataFrame Operations）2.4 运...
分类：
数据库 时间：
2015-12-29 22:43:57
阅读次数：
2343
Spark作为一个开源数据处理框架，它在数据计算过程中把中间数据直接缓存到内存里，能大大提高处理速度，特别是复杂的迭代计算。Spark主要包括SparkSQL，SparkStreaming，Spark MLLib以及图计算。Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各.....
分类：
其他好文 时间：
2015-12-28 15:47:25
阅读次数：
245
