RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集 ...
分类：
其他好文 时间：
2020-07-06 16:20:23
阅读次数：
61
ThreadPool与Task ThreadPool很难控制线程执行顺序，无法知道线程执行完成，Task弥补这些缺点。 使用CancelTokenSource通知子线程。 async task await C#异步编程模型 一个方法被标记为async，编译器会将方法的代码转换成实现了状态机的一个类型 ...
分类：
编程语言 时间：
2020-07-06 12:32:17
阅读次数：
56
首先了解什么是同步（synchronous），异步（asynchronous），阻塞（blocking），非阻塞（nonblocking）： 同步与异步 同步和异步是基于应用程序与操作系统处理I/O所采用的方式 同步:是应用程序直接参与I/O读写的操作，么有完毕将会等待（当应用程序发起read操作， ...
分类：
其他好文 时间：
2020-06-28 22:51:00
阅读次数：
120
异步编程 .NET 提供了执行异步操作的三种模式： 基于任务的异步模式(TAP) 基于事件的异步模式(EAP) 异步编程模型(APM) 基于任务的异步模式 Task-based Asynchronous Pattern.简称TAP 该模式使用单一方法表示异步操作的开始和完成。 TAP 是在 .NET ...
异步编程模型 使用 IAsyncResult 设计模式的异步操作是通过名为 BeginOperationName 和 EndOperationName 的两个方法来实现的，这两个方法分别开始和结束异步操作 OperationName 。 例如， FileStream 类提供 BeginRead 和 ...
分类：
其他好文 时间：
2020-06-28 00:12:16
阅读次数：
55
把描述和实现算法所用到的语言特性，软件库和操作系统特性总称为基础编程模型。 编写递归代码注意的点： 1. 递归总有一个最简单的情况 —— 方法的第一条语句总是包含 return 的条件语句。 2. 递归调用总是尝试解决一个规模更小的子问题，这样递归才能收敛到最简单的情况。 3. 递归调用的父问题和尝 ...
分类：
其他好文 时间：
2020-06-26 16:46:51
阅读次数：
53
一、课前准备 1. 3节点hadoop集群 2. 安装IDEA 3. 安装maven并配置环境变量 二、课堂主题 1. 围绕MapReduce分布式计算讲解 三、课堂目标 1. 理解MapReduce编程模型 2. 独立完成一个MapReduce程序并运行成功 3. 了解MapReduce工程流程 ...
分类：
其他好文 时间：
2020-06-24 00:32:41
阅读次数：
54
1、MapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建、大规模数据处理等场景中，具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成：编程模型和运行时环境。其中，编程模型为用户提供了非常易用的编程接口，用户只需像编写串行程序一样实现几个简单的函数即可 ...
分类：
其他好文 时间：
2020-06-23 17:10:23
阅读次数：
48
UDP协议 相较于TCP而言，UDP通信的形式更像是发短信。不需要在数据传输之前建立、维护连接。只专心获取数据就好。省去了三次握手的过程，通信速度可以大大提高，但与之伴随的通信的稳定性和正确率便得不到保证。因此，我们称UDP为“无连接的不可靠报文传递”。 那么与我们熟知的TCP相比，UDP有哪些优点 ...
分类：
其他好文 时间：
2020-06-23 01:08:43
阅读次数：
57
概述 现代程序开发过程中不可避免会使用到多线程相关的技术，之所以要使用多线程，主要原因或目的大致有以下几个： 1、 业务特性决定程序就是多任务的，比如，一边采集数据、一边分析数据、同时还要实时显示数据； 2、 在执行一个较长时间的任务时，不能阻塞UI界面响应，必须通过后台线程处理； 3、 在执行批量 ...
分类：
编程语言 时间：
2020-06-19 00:41:28
阅读次数：
170
