Java 8 API添加了一个新的抽象称为流Stream，可以让你以一种声明的方式处理数据。 Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。 Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁 ...
分类：
编程语言 时间：
2021-03-02 11:48:00
阅读次数：
0
年薪200w+的大数据架构师领衔直播，以大数据实时数仓项目为中心，延展4大企业级项目+5大AI应用+6大热门专题，助你开启大数据高薪魔盒。课程优势及特色：1、整体架构：仅关注数仓内部细节-->兼顾数据采集、分布式存储、流计算、建模与实时构建、可视化开发端到端的整体解决方案2、数据采集：人肉管理schema-->统一数据采集解决方案：自动系统化管理schema3、流处理：大量流处理job
分类：
其他好文 时间：
2020-10-19 22:51:25
阅读次数：
22
年薪200w+的大数据架构师领衔直播，以大数据实时数仓项目为中心，延展4大企业级项目+5大AI应用+6大热门专题，助你开启大数据高薪魔盒。课程优势及特色：1、整体架构：仅关注数仓内部细节-->兼顾数据采集、分布式存储、流计算、建模与实时构建、可视化开发端到端的整体解决方案2、数据采集：人肉管理schema-->统一数据采集解决方案：自动系统化管理schema3、流处理：大量流处理job
分类：
其他好文 时间：
2020-10-19 22:51:11
阅读次数：
21
https://mp.weixin.qq.com/s/7IZ1DpNvepGj2ehi8TrUFQBy超神经场景描述：520，属于中国的网络情人节。据新闻报道，各地婚姻登记处今天又迎来了一个高峰日。超神经在这个特别的日子，特地为大家奉上两对计算机大神的唯美爱情故事。关键词：520计算机界夫妻档今天，劝大家今天尽量别看朋友圈，估计又是各种口味的狗粮，表白，求婚，领证……那么，在这么甜的日子里，我们不
分类：
其他好文 时间：
2020-09-21 12:16:49
阅读次数：
74
1、什么是DBus DBus（数据总线）项目为了统一数据采集需求而生， 专注于数据的收集及实时数据流计算，通过简单灵活的配置，以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数 ...
分类：
数据库 时间：
2020-08-02 17:33:21
阅读次数：
95
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
Checkpoint & Snapshot 检查点是Flink为流计算过程提供的容错和故障恢复机制。当程序出错时，Flink会重启受到影响的那部分算子及计算逻辑，并将它们重置到最后一次成功checkpoint时的状态。每次成功的checkpoint产生的“状态数据”其实就是这个流式计算任务在那一时刻 ...
分类：
其他好文 时间：
2020-06-07 12:38:52
阅读次数：
63
认知智能时代，数据是核心资产，在数据产生、传输、存储、计算、分析和应用的过程中，5G、边缘计算等技术将和认知智能相互融合，形成从终端、边缘到中央云的一体化数据处理流程和解决方案。
分类：
其他好文 时间：
2020-06-03 09:19:11
阅读次数：
952
KafkaStream概念及初识高层架构图KafkaStream是ApacheKafka从0.10版本引入的一个新Feature，它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之，KafkaStream就是一个用来做流计算的类库，与Storm、SparkStreaming、Flink的作用类似，但要轻量得多。KafkaStream的基本概念：KafkaStream是处理分析存储
流计算概述 流数据是指在时间分布上和数量上无线的一系列动态数据集合。数据记录是流数据的最小组成单元。 流数据特征 数据快速持续到达，无穷无尽 数据来源众多，格式复杂 数据量大，不关心存储 注重数据的整体价值，不过分关注个别数据 数据顺序颠倒或者不完整 流计算 流数据被处理后，一部分进入数据库成为静态 ...
分类：
其他好文 时间：
2020-05-01 17:08:46
阅读次数：
96
