一、收集应用领域信息 我做的题目是海量用户行为实时分析系统的设计与实现。需要设计并实现一个基于流计算的实时计算引擎。目前常用的实时流计算引擎有Flink、Storm等。其主要实现方法是基于事件流，根据用户给定的条件进行实时处理，最后输出用户需要的结果。 二、头脑风暴 根据需求，我们讨论并整理出了技术 ...
分类：
其他好文 时间：
2019-11-22 20:55:09
阅读次数：
82
特征： 持续到达，数据量大，注重数据整体价值，数据顺序可能颠倒，丢失，实时计算， 海量，分布，实时，快速部署，可靠 linked in Kafka spark streaming：微小批处理，模拟流计算，秒级响应 DStream 一系列RDD 的集合 支持批处理 创建文件流 10代表每10s启动一次 ...
分类：
其他好文 时间：
2019-11-05 18:49:38
阅读次数：
98
1、前言 本文是基于Flink官网上Asynchronous I/O的介绍结合自己的理解写成的，若有不正确的欢迎大伙留言交流，谢谢！ 2、Asynchronous I/O简介 将Flink用于流计算时，若涉及到和外部系统进行交互，如利用Flink从数据库中读取数据，这种需要获取I/O的场景时，我们需 ...
分类：
其他好文 时间：
2019-10-17 09:13:18
阅读次数：
122
硬件层 门和电路 计算机是电子设备，它的大多数基础硬件元件控制着电流。 计算机和电学 任何电信号都有电平 0 2V是低电平，有二进制数字0表示，2 5V范围内的电压是高电平，由二进制数字1表示。 电路是由门组合而成的，可以执行更加复杂的任务 描述门和电路的表示法有三种，他们互不相同，但却一样有效。 ...
分类：
其他好文 时间：
2019-10-13 18:46:05
阅读次数：
128
JAVA如何进阶架构师，Java进阶之路——从初级程序员到架构师，从小工到专家 ...
分类：
编程语言 时间：
2019-10-04 19:24:20
阅读次数：
83
4.1 初始化StreamingContext 初始化完Context之后： 1) 定义消息输入源来创建DStreams 2) 定义DStreams的转化操作和输出操作 3) 通过streamingContext.start()来启动消息采集和处理 4) 等待程序终止，可以通过streamingCo ...
分类：
其他好文 时间：
2019-10-02 10:33:16
阅读次数：
82
计算机基础知识专项训练 错题 计算机发展历史 下列属于信息处理的是（）。 A、信息加工 B、信息分类 C、信息存储 D、信息采集 答案： $ABCD$ 解析：信息处理的含义 (指信息的收集、 分析、 筛选、 加工、 整理、计算、表达和交流。 计算机病毒传染的必要条件是（）。 A、在内存中运行病毒程序 ...
分类：
其他好文 时间：
2019-10-01 20:57:44
阅读次数：
178
第一章:为什么微软的操作系统能成为主流？计算学科主题领域的变化是否与社会变化变迁有关？ 第二章:为何二进制中一个字节为8个二进制位？为什么我们正常生活中使用十进制而不用其它进制? 第三章:为什么在计算机中要有红绿蓝三色而不用绘画的红黄蓝三色？可反复刻录的光盘是如何进行抹去数据进行再刻录？ 第四章:什 ...
分类：
其他好文 时间：
2019-09-29 16:53:38
阅读次数：
78
恢复内容开始 一.基本概念 1.什么是storm？ storm是一个免费的开源分布式实时计算系统，流数据框架，可以轻松可靠地处理无限数据流，实现Hadoop为批处理所做的实时处理。 2.使用场景 实时分析，在线机器学习，连续计算。 流计算 3.特点 速度快，每秒每个节点可以处理超过百万个元组 具有可 ...
分类：
其他好文 时间：
2019-09-17 21:59:42
阅读次数：
122
Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置 ...
分类：
其他好文 时间：
2019-09-15 23:54:58
阅读次数：
297
