前言 Elastic自身设计了集群分片的负载平衡机制，当有新数据节点加入集群或者离开集群，集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Ela ...
分类：
其他好文 时间：
2021-05-24 03:46:38
阅读次数：
0
阿里云实时计算负责人 - 王峰（莫问）/ FFA_2020-Flink as a Unified Engine - Now and Next-V4 2020年Flink 基于Flink 的流批一体数仓 基于Flink流批一体数据湖架构 PyFlink Flink Native on K8S 双链路数 ...
分类：
其他好文 时间：
2021-03-16 11:59:14
阅读次数：
0
TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源； 基于 EventTime 处理，如何指定 Watermark； Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口； State状态的使用； P ...
分类：
其他好文 时间：
2021-03-12 13:00:59
阅读次数：
0
部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，
分类：
其他好文 时间：
2020-10-05 22:00:02
阅读次数：
31
height: auto 子元素有多高，父元素就有多高，自动撑大 height：100% 父元素有多高，该元素就有多高 注意：table无法设置宽度，只能被子元素（tr，td）撑大 iframe 没法被子元素撑大，所以height:auto无效；要么设定固定值，要么写js代码实时计算高度，实现自适应 ...
分类：
其他好文 时间：
2020-08-13 12:24:53
阅读次数：
53
版权声明：本文为CSDN博主「九品下」的原创文章 原文链接：https://blog.csdn.net/w892824196/article/ HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的，即由LSM-Tree(Log-Structured Merge-Tree) + HTa ...
分类：
其他好文 时间：
2020-07-26 19:15:06
阅读次数：
69
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将介绍线性回归在Alink中是如何实现的，希望可以作为大家看线性回归代码的Roadmap。 ...
分类：
其他好文 时间：
2020-07-11 09:32:53
阅读次数：
65
Real - time Rendering 实时计算机图形学 一、图形绘制管线 绘制管线：在给定虚拟相机、三维物体、光源、照明模式，以及纹理条件下，生成或者绘制一幅二维图像。 最慢的管线决定绘制速度，即图像更新速度，用fps表示，每秒绘制的图像数量，或者用Hz表示。 1、应用程序阶段 应用程序阶段通 ...
分类：
其他好文 时间：
2020-07-08 19:32:06
阅读次数：
67
一、简介JStorm是一个分布式实时计算引擎。JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的work ...
分类：
Web程序 时间：
2020-07-04 20:35:29
阅读次数：
54
消息队列 为什么用? 解耦，削峰，异步 基本模型 生产者 -> MQ -> 消费者 Kafka 十万级/s 适用于大数据领域实时计算，日志采集, ActiveMQ 万/s , RabbitMQ 万/s , RocketMQ 十万/s 造成问题及解决 1.系统可用性降低 (MQ发生故障，全崩了) 2. ...
分类：
其他好文 时间：
2020-06-24 19:24:18
阅读次数：
68
