深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目
分类：
其他好文 时间：
2020-06-22 19:15:45
阅读次数：
50
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用 ...
分类：
其他好文 时间：
2020-06-22 18:50:44
阅读次数：
295
CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运
分类：
其他好文 时间：
2020-06-22 09:30:23
阅读次数：
415
A core element in Flink’s distributed snapshotting are the stream barriers. These barriers are injected into the data stream and flow with the records ...
分类：
其他好文 时间：
2020-06-20 13:41:21
阅读次数：
70
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 ...
分类：
其他好文 时间：
2020-06-20 11:32:28
阅读次数：
67
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
一、WaterMark作用 在使用 EventTime 处理 Stream 数据的时候会遇到数据乱序的问题，流处理从 Event(事 件)产生，流经 Source，再到 Operator，这中间需要一定的时间。虽然大部分情况下，传输到 Operator 的数据都是按照事件产生的时间顺序来的，但是也不 ...
分类：
其他好文 时间：
2020-06-18 19:56:39
阅读次数：
187
1.自定义sink 在flink中，sink负责最终数据的输出。使用DataStream实例中的addSink方法，传入自定义的sink类 定义一个printSink()，使得其打印显示的是真正的task号（默认的情况是task的id+1） MyPrintSink package cn._51doi ...
分类：
其他好文 时间：
2020-06-16 23:19:16
阅读次数：
61
1. flink简介 1.1 什么是flink Apache Flink是一个分布式大数据处理引擎，可以对有限数据流（如离线数据）和无限流数据及逆行有状态计算（不太懂）。可以部署在各种集群环境，对各种大小的数据规模进行快速计算。 1.2 flink的架构体系 具体见文档 2. flink的安装 修改 ...
分类：
其他好文 时间：
2020-06-16 00:38:14
阅读次数：
46
