数据库基础 一、数据库简介 数据库：存放数据的仓库 sql及其规范 sql是Structured Query Language(结构化查询语言)的缩写。SQL是专为数据库而建立的操作命令集，是一种功能齐全的数据库语言。在使用它时，只需要发出“做什么”的命令，“怎么做”是不用使用者考虑的。SQL功能强 ...
分类：
数据库 时间：
2018-09-22 19:55:24
阅读次数：
188
使用checkpoint进行故障恢复 如果发生故障或关机，可以恢复之前的查询的进度和状态，并从停止的地方继续执行。这是使用Checkpoint和预写日志完成的。您可以使用检查点位置配置查询，那么查询将将所有进度信息（即，每个触发器中处理的偏移范围）和运行聚合（例如，示例中的wordcount）保存到 ...
分类：
其他好文 时间：
2018-09-11 14:18:35
阅读次数：
198
推荐阅读：1，StructuredStreaming简介 使用Structured Streaming基于事件时间的滑动窗口的聚合操作是很简单的，很像分组聚合。在一个分组聚合操作中，聚合值被唯一保存在用户指定的列中。在基于窗口的聚合的情况下，对于行的事件时间的每个窗口，维护聚合值。 如前面的例子，我 ...
分类：
其他好文 时间：
2018-09-11 14:12:20
阅读次数：
424
需求： 目前kafka的topic上有一批数据，这些数据被分配到9个不同的partition中（就是发布时key:{m1,m2,m3,m4...m9},value:{records items}），mx(m1,m2...m9)这些数据的唯一键值：int_id+start_time，其中int_id和 ...
分类：
其他好文 时间：
2018-08-29 01:18:08
阅读次数：
248
一般情况下我们在使用Dataset<Row>进行groupByKey时，你会发现这个方法最后一个参数需要一个encoder，那么这些encoder如何定义呢？ 一般数据类型 示例： Class类型： Tuple类型： 一般类型的Tuple Tuple包含类的： 关于Encoder请参考《http:/ ...
分类：
Web程序 时间：
2018-08-29 01:02:03
阅读次数：
240
1、数据库系统 = 数据库+数据库管理系统+应用开发工具+数据库管理员+用户+......； 2、SQL = structured query language ； SQL = DDL(数据定义语言)+DML(数据库操作语言)+DCL(数据控制语言)； 3、数据存储发展阶段：人工管理—文件系统阶段- ...
分类：
数据库 时间：
2018-08-28 20:29:08
阅读次数：
198
一、基本概念 SQL--Structured Query Language, 结构化查询语言,是关系型数据库通用的操作语言。是一种非过程性语言。 二、操作数据库 1.创建数据库： CREATE DATABASE [IF NOT EXISTS] db_name [create_specificatio ...
分类：
数据库 时间：
2018-08-25 23:02:56
阅读次数：
231
事情经过：之前该topic(M_A)已经存在，而且正常消费了一段时间，后来删除了topic(M_A)，重新创建了topic（M-B），程序使用新创建的topic（M-B）进行实时统计操作，执行过程中抛出了一下异常： 错误原因，在structured streaming编程时，使用checkpoint ...
分类：
其他好文 时间：
2018-08-24 13:27:28
阅读次数：
272
1、什么是数据库？ 2、数据库的发展历史！ 3、SQL:结构化查询语句（Structured Query Language）。 ...
分类：
数据库 时间：
2018-08-07 00:40:13
阅读次数：
176
此前在校学习期间，只是知道数据库很重要，但是并未主动去学习了解。现在的学习过程中学了一遍mysql，就简单的做一个总结吧。 首先记住三个概念： 1.数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 2.SQL ：结构化查询语言(Structured Qu ...
分类：
数据库 时间：
2018-07-29 14:24:10
阅读次数：
204
