Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。H ...
分类：
其他好文 时间：
2020-05-09 23:07:57
阅读次数：
222
分布式版本控制系统（Distributed Version Control System,DVCS，像Git Mercurial Bazaar Darcs等，把代码仓库完整得镜像下来，包括完整的历史记录。任何一处协同工作用的服务器发生故障，事后都可以用任何一个镜像出来的本地仓库恢复。每一次克隆操作， ...
分类：
其他好文 时间：
2020-05-09 01:01:18
阅读次数：
55
采用rpc模式开发一个银行atm模拟系统。 系统主要提供一个服务Card，该服务接口可以提供登录、查询、取钱、存钱等功能。服务接口的设计和实现自定义。 项目地址：https://github.com/gcw0618/Distributed-Computation Atm客户端功能需求: 1、ATM可 ...
分类：
其他好文 时间：
2020-05-06 17:54:19
阅读次数：
73
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量 ...
分类：
其他好文 时间：
2020-05-05 18:09:27
阅读次数：
70
1、分布式 2、基于内存 3、迭代式计算 每一批节点上的每一批数据就是一个RDD RDD是spark的核心抽象 1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的 ...
分类：
其他好文 时间：
2020-05-03 20:41:36
阅读次数：
61
一、RDD(弹性分布式数据集) RDD 是 Spark 最核心的数据结构，RDD（Resilient Distributed Dataset）全称为弹性分布式数据集，是 Spark 对数据的核心抽象，也是最关键的抽象，它实质上是一组分布式的 JVM 不可变对象集合，不可变决定了它是只读的，所以 RD ...
分类：
其他好文 时间：
2020-05-02 14:51:21
阅读次数：
56
本文讲解 skip-gram 模型以及优化和扩展。主要包括层次 Softmax、负采样、学习短语的表示。 先提一下词向量： 词向量（也叫词嵌入，word embedding），简单地说就是用一个低维向量表示一个词。由于独热编码（one-hot encoding）存在维度灾难，即稀疏性，且无法理解词与 ...
分类：
其他好文 时间：
2020-04-30 21:26:52
阅读次数：
67
1、Hadoop概述 1.1 Hadoop是什么 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台 1.2 核心组件 分布式存储系统 HDFS（Hadoop Distributed File System），提供了高可靠性、高扩展性和高吞吐 ...
分类：
其他好文 时间：
2020-04-25 19:07:28
阅读次数：
107
PYTORCH并行训练。Author: Shen Li DistributedDataParallel (DDP) 分布式训练在模型层面实现数据并行。利用 torch.distributed包来同步梯度、参数和缓存。并行性在进程内和进程间都是可用的。在进程中，DDP将输入模块复制到device_id ...
分类：
其他好文 时间：
2020-04-18 14:18:32
阅读次数：
110
Activiti Introduce Helping businesses solve automation challenges in distributed, highly scalable and cost effective infrastructures. ...
分类：
其他好文 时间：
2020-04-06 00:11:00
阅读次数：
70
