在执行spark on hive 的时候在 sql.show()处报错 ： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer 报错详情： 说明：程序是在idea上本地 ...
分类：
编程语言 时间：
2019-01-09 18:40:10
阅读次数：
2288
一、SparkStreaming的介绍（1）为什么要有SparkStreaming？ Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。目前有三种比较常用的流式计算框架，它们分别是Storm，SparkStreaming和fink。（2）SparkStreamin
分类：
其他好文 时间：
2019-01-06 22:04:55
阅读次数：
190
接下来做的操作是：（这个操作，将程序打成jar包到集群中运行）（1）编写spark程序在线上的hive中创建表并导入数据（2）查询hive中的数据（3）将查询结果保存到MySQL中代码：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLeve
分类：
数据库 时间：
2019-01-05 22:52:41
阅读次数：
252
1、sparksql的概述（1）sparksql的介绍： SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使
分类：
数据库 时间：
2019-01-05 13:37:33
阅读次数：
251
一：首先将我们从文本中读取的数据映射到表也就是视图 eg: $>cat b.txt 1 ded 2 dsfre 3 sfs 4 fr $>val sc = spark.sparkContext #创建SparkContext $>val rdd = sc.textFile("file:///home ...
分类：
数据库 时间：
2019-01-01 14:07:47
阅读次数：
638
1. Spark SQL定位处理结构化数据的模块。SparkSQL提供相应的优化机制，并支持不同语言的开发API。 java、scala、Python，类SQL的方法调用（DSL） 2. RDD与Spark SQL的比较说明： 使用Spark SQL的优势：a.面向结构化数据；b.优化机制； RDD ...
分类：
数据库 时间：
2018-12-31 17:28:16
阅读次数：
235
注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。 SparkSQL JDBC SparkSQL可以使用JDBC的方式访问其他数据库，和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。 ...
分类：
数据库 时间：
2018-12-21 17:38:33
阅读次数：
232
Spark2.X傻瓜视频教程_Spark2视频教程下载课程分享链接:https://pan.baidu.com/s/1t2x6zEpR1PABC_y0TyXLBw密码:ltyt本课程照顾到零基础学员，从最基础的Linux入手，到Hadoop技术，再到Spark官方指定语言Scala，再到最后的SparkSQL，SparkStream技术，一站式全链路教学，Spark技术一课搞定，电商项目全程贯穿，
分类：
其他好文 时间：
2018-12-17 14:17:01
阅读次数：
265
如果有足够的时间和精力，可以按照上面的学习路线图和视频教程进行自学。 ...
分类：
其他好文 时间：
2018-12-11 18:16:45
阅读次数：
335
