OpenLooKeng是华为开源的高性能数据虚拟化引擎，github：https://github.com/openlookeng/hetu-core OpenLooKeng 基于 PrestoSql(现改名：Trino)开发的, Presto编译环境不支持windows，windows上运行需要进 ...
阶段的划分 ? SparkContext对象包含有一个私有属性DAGScheduler阶段调度器，主要用于阶段的划分。在一个应用程序中，任务的提交都是从行动算子触发的。行动算子的方法内部会调用一个runJob方法，其中就有DAG调度器发挥运行Job的作用： dagScheduler.runJob(r ...
分类：
其他好文 时间：
2021-01-08 11:26:05
阅读次数：
0
概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行 ...
分类：
编程语言 时间：
2021-01-08 10:56:23
阅读次数：
0
删除工作空间的目录org.eclipse.ui.workbench，重启开发工具 ...
分类：
其他好文 时间：
2021-01-06 12:31:18
阅读次数：
0
1、在使用eclipse构建基于maven的spring工程时，报下面的错误，如下所示： 1 Multiple annotations found at this line: 2 - cvc-elt.1: Cannot find the declaration of element 'beans'. ...
分类：
其他好文 时间：
2021-01-06 12:07:38
阅读次数：
0
1.为什么安装Impala一定要先安装Hive？ Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。 2.Impala与Hive的关系？ Impala 与Hive都是构建在Hadoop之上的 ...
分类：
其他好文 时间：
2021-01-06 11:58:32
阅读次数：
0
1、eclipse和svn本身是互相独立的两个软件。 2、安装了svn，就可以设置svn本地目录。这个目录会与线上资源相关连，从而可以同步。 3、eclipse安装了svn插件，就可以从线上svn【import， 从svn检出】资源库获取资源，到eclipse自己的工作区，【注意，这个不是svn的本 ...
分类：
系统相关 时间：
2021-01-05 10:54:35
阅读次数：
0
1.UDAF定义 spark中的UDF(UserDefinedFunction)大家都不会陌生, UDF其实就是将一个普通的函数, 包装为可以按 行 操作DataFrame中指定Columns的函数. 例如, 对某一列的所有元素进行+1操作, 它对应mapreduce操作中的map操作. 这种操作有 ...
分类：
其他好文 时间：
2021-01-04 11:31:11
阅读次数：
0
0.创建用户并付权限 sudo useradd iwbdsudo passwd iwbd 配置iwbd用户具有root权限 修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：## Allow root to run any commands anywhere ...
分类：
其他好文 时间：
2021-01-04 11:30:50
阅读次数：
0
在代码中我们可以只加上标签@Data 而不用get,set方法； val : 和 scala 中 val 同名, 可以在运行时确定类型; @NonNull : 注解在参数上, 如果该类参数为 null , 就会报出异常, throw new NullPointException(参数名) @Clea ...
分类：
其他好文 时间：
2021-01-04 11:15:37
阅读次数：
0
