[TOC] SparkStreaming相关概念 概述 SparkStreaming主要用作对流数据的实时处理，比如：实时的 web 日志数据分析、实时追踪页面访问统计数据等。 流数据的特点有： 数据一直在变化 数据无法回退 数据始终源源不断涌进 Spark Streaming 是在 Spark 上 ...
分类：
其他好文 时间：
2020-01-24 22:24:29
阅读次数：
95
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
回滚莫队 用来处理一类区间扩张容易而收缩难的莫队问题。 大概的思路如下： 还是按莫队的方法排序（不要奇偶性优化），把所有询问按照左端点所在块分类处理。 对于左端点在同一个块$[L,R]$的，先把右端点也在$[L,R]$内的暴力处理。 而其它询问的右端点必定递增，因此我们可以实时处理出$[R,r]$的 ...
分类：
其他好文 时间：
2020-01-18 21:14:48
阅读次数：
75
一、celery介绍 1. 什么是celery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 celery单独使用一个socket，不会额外占用其他程序的资源。 项目中使用celery的优势 减少服务器的压力 提供了3中任务的执行方 ...
分类：
其他好文 时间：
2020-01-10 22:19:54
阅读次数：
88
[TOC] Celery的使用 Celery简介 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度，可用于处理实时数据以及任务调度。 官方链接 Celery 官网：http://www.celeryproject.org/ Celery ...
分类：
其他好文 时间：
2020-01-10 20:33:34
阅读次数：
75
近日，全球首款支持鲲鹏硬件架构的企业级 OLTP 数据库 GaussDB T 的云服务，正式上线华为云。意味着 GaussDB T 除了为企业提供本地部署外，同时具备了在云上为更多企业提供高效、稳定、易用和高价值的 OLTP 数据库服务能力。
华为 GaussDB T 基于创新性数据库内核，提供高性能事务实时处理能力、金融级高可用能力，可以用于金融、政府、运营商、大企业等行业场景，如金融
分类：
数据库 时间：
2020-01-06 00:46:34
阅读次数：
128
近日，全球首款支持鲲鹏硬件架构的企业级 OLTP 数据库 GaussDB T 的云服务，正式上线华为云。意味着 GaussDB T 除了为企业提供本地部署外，同时具备了在云上为更多企业提供高效、稳定、易用和高价值的 OLTP 数据库服务能力。
华为 GaussDB T 基于创新性数据库内核，提供高性能事务实时处理能力、金融级高可用能力，可以用于金融、政府、运营商、大企业等行业场景，如金融
分类：
数据库 时间：
2020-01-05 22:40:27
阅读次数：
116
一、Kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统可以发布大量的消息，同时也能实时订阅消费消息。Kafka可以同时满足在线实时处理和批量离线处理。 在公司的大数据生态系统中，可以把Kafka作为数据交换枢纽，不同类型的分布式系统（关系数据库、NoSQL数据库 ...
分类：
其他好文 时间：
2019-12-12 13:28:15
阅读次数：
155
一、flink异步IO概述1.1异步IO的需求?AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决数据流与外部系统交互时的通信延迟（比如等待外部系统的响应）成为了系统瓶颈的问题。对于实时处理，当需要使用外部存储数据的时候，需要小心对待，不能让与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。?例如，在mapfunction等算子里访问外部存
分类：
其他好文 时间：
2019-12-11 11:25:49
阅读次数：
229
Celery 概念 简单的灵活可靠的处理大量消息的分布式系统 专注于实时处理的异步任务队列, 同时也支持任务调度 结构图 使用场景 异步任务 将耗时的操作任务提交给 Celery 去异步执行 - 比如发送短信 / 邮件, 消息推送, 音视频处理等 定时任务 类似于 crontab, 比如每日的数据统 ...
分类：
编程语言 时间：
2019-12-09 15:31:17
阅读次数：
95
