For Flink applications to run reliably at large scale, two conditions must be fulfilled: The application needs to be able to take checkpoints reliably ...
分类：
其他好文 时间：
2020-06-24 14:07:13
阅读次数：
47
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目
分类：
其他好文 时间：
2020-06-22 19:15:45
阅读次数：
50
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用 ...
分类：
其他好文 时间：
2020-06-22 18:50:44
阅读次数：
295
环境部署与故障原因：客户本地服务器，操作系统为windows2008r2。在当前环境内安装有mysql5.6单实例，引擎类型为innodb，表内数据存储所使用表空间类型为独立表空间。未进行数据库备份，未开启binlog。由于人为误操作使用Delete命令进行删除数据时未添加where子句进行筛选导致全表数据被删除，删除后未对该表进行任何操作。`恢复方案制定：1、故障类型分类：在本案例中，由于未对生
分类：
数据库 时间：
2020-06-22 14:47:03
阅读次数：
168
CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运
分类：
其他好文 时间：
2020-06-22 09:30:23
阅读次数：
415
1. 测试环境搭建步骤 为什么要安装tomcat、mysql？ —所测试的项目需求环境决定。tomcat-项目容器（放置开发打包的项目代码），mysql-数据仓库。 为什么要安装jdk？ —java软件开发包（Java Development Kit），没有JDK的话，无法编译运行Java程序。 1 ...
分类：
系统相关 时间：
2020-06-20 17:03:58
阅读次数：
96
A core element in Flink’s distributed snapshotting are the stream barriers. These barriers are injected into the data stream and flow with the records ...
分类：
其他好文 时间：
2020-06-20 13:41:21
阅读次数：
70
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 ...
分类：
其他好文 时间：
2020-06-20 11:32:28
阅读次数：
67
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
