No.1文件的概念文件的概念和作用计算机中的文件，就是存储在某种长期储存设备上的一段数据流计算机中的文件，可以在需要的时候使用文件的存储方式文本文件可以使用文本编辑器查看本质上还是二进制文件二进制文件保留的内容不能直接查看，而是提供给其他软件查看图片、音频、视频等都是二进制文件No.2文件的基本操作操作文件的基本套路打开文件读写文件关闭文件操作文件的函数函数说明fp.read([size])siz
分类：
编程语言 时间：
2018-09-30 20:43:04
阅读次数：
179
1、流计算SQL原理和架构 流计算SQL通常是一个类SQL的声明式语言，主要用于对流式数据(Streams)的持续性查询，目的是在常见流计算平台和框架（如Storm、Spark Streaming、Flink、Beam等）的底层API上， 通过使用简易通用的的SQL语言构建SQL抽象层，降低实时开发 ...
分类：
数据库 时间：
2018-09-05 11:41:23
阅读次数：
281
第1章 网络基础 1.1 什么是网络 解决计算机通讯的需求 实现计算机信息可以传递 保证我们的各种设备可以互相通信/交流 1.2 计算机之间如何通信 主机之间实现通讯基本要求（三要素） ①.需要在两台主机之间建立物理连接，物理连接的方式有网线 光纤线 wifi 蓝牙，将这些方式统称为介质； ②.两台 ...
分类：
其他好文 时间：
2018-08-29 20:31:21
阅读次数：
705
网上查阅一些资料，收集整理如下： 1、 通用性 spark更加通用，spark提供了transformation和action这两大类的多个功能api，另外还有流式处理sparkstreaming模块、图计算GraphX等等；mapreduce只提供了map和reduce两种操作，流计算以及其他模块 ...
分类：
其他好文 时间：
2018-08-25 13:59:39
阅读次数：
221
1.前言 在Flink中，函数和操作符都可以是有状态的。在处理每个消息或者元素时，有状态的函数都会储存信息，使得状态成为精密操作中关键的组成部分。 为了使状态能够容错，Flink会checkpoints状态。checkpoints机制使得Flink可以恢复状态和位置，以至于流计算的应用可以提供无故障 ...
分类：
其他好文 时间：
2018-08-02 10:21:54
阅读次数：
2649
流计算中可能有各种方式来保存状态： 窗口操作 使用 了KV操作的函数 继承了CheckpointedFunction的函数 当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复。选择的状态存储策略不同，会导致状态持久化如何和checkpoints ...
分类：
其他好文 时间：
2018-08-01 19:44:26
阅读次数：
1132
提交答案题（网络流） 计算一次函数的值实在是太难了，所以为了简化问题，我们计算二次函数。现在给了你$N$个二次函数，第$i$个二次函数的形状为$f_i(x_i) = a_i {x_i}^2 + b_i x_i + c_i , l_i \leq x_i \leq r_i$。同时我们又给了你$M$个限制 ...
分类：
其他好文 时间：
2018-07-28 12:14:50
阅读次数：
118
数据注入和流计算： Ignite流式计算允许以可扩展和容错的方式处理连续不中断的数据流。在一个中等规模的集群中，数据注入Ignite的比例会很高，很容易达到每秒百万级的规模。 Ignite可以与主要的流处理技术和框架进行集成，比如Kafka、Camel、Storm或者JMS，他们可以为基于Ignit ...
分类：
其他好文 时间：
2018-07-14 11:47:59
阅读次数：
181
导语 ： 消息队列是分布式系统中重要的组件，在很多生产环境如商品抢购等需要控制并发量的场景下都需要用到。最近组内需要做流水server的选型升级，这里对消息队列及常见的消息队列进行了一次调研，整理了相关资料，分享给大家。一、消息队列(MQ)概述消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为：当不需要立即获得结果，但是并发量又需要进行控制的时候，差
分类：
其他好文 时间：
2018-07-13 01:13:05
阅读次数：
189
flume：是分布式、可靠、可用性好服务，用于收集、聚合、移动大量日志数据。是基于流计算的简单灵活框架，用于在线分析stream：动态计算 flume优点：1.可以和任意集中式存储进程集成2.输入的数据速率大于写入存储目的地的速度，flume会进行缓冲3.flume提供上下文路由(数据流路线)4.f ...
分类：
Web程序 时间：
2018-06-19 18:57:11
阅读次数：
439
