一手资料，完全来自官网，直接参考英文过来的，并加了一些自己的理解，希望能让看官君了解点什么，足矣。 环境：Flink1.9.1 难度：新手--战士--老兵--大师 目标： 理解Flink的计算模型 认识各重要组件 说明： 本篇作为前两篇的补充内容，算是理论篇 步骤： 01-Flink编程模型 Fli ...
分类：
其他好文 时间：
2019-12-26 13:17:20
阅读次数：
96
概述HBase是谷歌公司BigTable的开源实现。BigTable是一个分布式存储系统，利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据，使用谷歌分布式文件系统GFS作为底层数据存储，并采用Chubby提供协同服务管理，可以扩展到PB级别的数据和上千台机器，具备广泛应用型、可扩展性... ...
分类：
其他好文 时间：
2019-12-26 11:13:14
阅读次数：
155
恢复内容开始 计算机的发展 计算机从0 1, 程序, 递归的思想 到冯诺依曼计算机/到个人计算机环境 并行计算环境 云计算环境 比较重要的抽象手段 语言和编译系统, 解决了人和机器交流的问题 协议和解码器, 解决了机器和机器通信的基础 模型和系统, 解决了业务模型到计算模型的基础 这三种抽象机制是比 ...
分类：
其他好文 时间：
2019-12-15 18:24:25
阅读次数：
84
MapReduce简介MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： 1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 ...
分类：
其他好文 时间：
2019-12-07 01:25:25
阅读次数：
158
前言 对大多数计算模型而言，顺序都是基本的东西，它确定了为完成所期望的某种工作，什么事情应该最先做，什么事应该随后做，我们可以将语言规定顺序的机制分为几个类别： 顺序执行 选择 迭代 过程抽象 递归 并发 异常处理和推断 非确定性 对于不同类别的语言对不同类别的控制流的重要性也不尽相同，比如顺序执行 ...
分类：
其他好文 时间：
2019-11-26 13:31:52
阅读次数：
64
<! TOC "正向传播" "反向传播" "训练深度学习模型" "小结" <! /TOC 前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自 ...
分类：
其他好文 时间：
2019-11-16 12:58:18
阅读次数：
68
TensorFlow主要分为计算模型、数据模型和运行模型. TensorFlow计算模型——计算图 TensorFlow中的计算可以表示为一个有向图(directed graph),或称为计算图(computation graph)，其中每一个运算操作(operation)将作为一个节点(Node) ...
分类：
其他好文 时间：
2019-11-06 16:50:33
阅读次数：
88
神经网络 感知机 解决分类问题 "http://playground.tensorflow.org" 神经网络 定义: ? 在机器学习领域和认知科学领域,人工神经网络(artificial neural network) 简称ann或类神经网络,一种放生物 神经网络的结构和功能的计算模型,用于对函数 ...
分类：
其他好文 时间：
2019-10-27 16:54:45
阅读次数：
89
MapReduce的shuffle过程介绍 Shuffle的语义是洗牌、混洗，即把一组有一定规则的数据尽量转换成一组无规则的数据，随机性越高越好。 MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shu ...
分类：
其他好文 时间：
2019-10-24 15:46:21
阅读次数：
94
这是一篇科普性质的文章，希望能过用一个通俗易懂的例子给非计算机专业背景的朋友讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从MapReduce分布式计算模型开始。该理论模型并不是什么新理念，早在2004年就被Goo ...
分类：
其他好文 时间：
2019-10-24 09:50:17
阅读次数：
112
