table1的数据是 客户id，基金差额，保险差额，理财差额，。。。 select 客户id “基金” as prod_name, jijin_add as 差额from table1 union allselect 客户id “保险” as prod_name, baoxian_add as 差额 ...
分类：
其他好文 时间：
2020-12-22 11:49:51
阅读次数：
0
建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用 ...
分类：
其他好文 时间：
2020-12-21 11:32:22
阅读次数：
0
章节： 第一章节：CentOS 7 配置hadoop(一) 安装虚拟机（伪分布） 第二章节：CentOS 7 配置hadoop(二) 配置hdfs（伪分布） 第三章节：CentOS 7 配置hadoop(三) 配置hbase（伪分布） 第四章节：CentOS 7 配置hadoop(四) 配置hive ...
分类：
其他好文 时间：
2020-12-21 11:30:46
阅读次数：
0
Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类：
其他好文 时间：
2020-12-19 13:14:39
阅读次数：
1
本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品；然后介绍 Spark on Kubernetes；最后进行实际演示。
分类：
其他好文 时间：
2020-12-17 12:22:18
阅读次数：
2
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 ...
分类：
其他好文 时间：
2020-12-17 12:09:25
阅读次数：
2
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P
分类：
其他好文 时间：
2020-12-16 11:45:59
阅读次数：
4
使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。 1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 ...
分类：
其他好文 时间：
2020-12-15 12:55:41
阅读次数：
6
1、问题源自星球同学的提问：es如何与hive或mysql结合使用？es不支持事务有什么好的弥补方案吗？2、事务的核心概念如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下ACID四个特性：原子性（Atomicity）原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，一致性（Consistency）一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事
分类：
其他好文 时间：
2020-12-15 12:29:15
阅读次数：
3
