<!-- flowchart 箭头图标 勿删 --> 在2010年，google发表了一篇名为“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”的论文，在文中介绍了google生产环境中大规模分布式系统下的跟踪系统Da ...
分类：
移动开发 时间：
2019-01-20 11:44:55
阅读次数：
286
1. 设计并实现large scale， distributed deep learning inference platform API Server, CLI (FLask, Mysql) 1. 2. 接入公司CAS，实现用户鉴权 (CAS SSO) 3. ModelZoo (Flask, OS ...
分类：
其他好文 时间：
2019-01-18 10:14:53
阅读次数：
204
Hadoop组成 HDFS（Hadoop Distributed File System）架构概述 NameNode目录--主刀医生(nn)； DataNode（dn)数据； Secondary NameCode（2nn）助手； YARN框架 常驻 + 临时 ResourceManager（RM) ...
分类：
其他好文 时间：
2019-01-17 19:52:08
阅读次数：
225
Step-by-step tutorial of how to download and install Terraform on Windows, Linux and Mac OS. Terraform is distributed as a binary package for all supp ...
简介 Java在单机环境实现了BlockQueue阻塞队列，与之类似的curator实现了分布式场景下的阻塞队列，SimpleDistributedQueue 官方文档：http://curator.apache.org/curator-recipes/simple-distributed-queu ...
分类：
其他好文 时间：
2019-01-14 00:22:34
阅读次数：
157
一、什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作 ...
分类：
其他好文 时间：
2019-01-13 01:58:56
阅读次数：
233
时间线： OpenAI 发表的 Trust Region Policy Optimization, Google DeepMind 看过 OpenAI 关于 TRPO后, 2017年7月7号，抢在 OpenAI 前面 把 Distributed PPO给先发布了. OpenAI 还是在 2017年7 ...
分类：
其他好文 时间：
2019-01-11 23:23:59
阅读次数：
776
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
今天给大家分享的技术学习是：浅谈弹性分布式数据集RDD。 一、RDD定义 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中基本的数据抽象，它代表一个不可变(数据和元数据)、可分区、里面的元素可并行计算的集合。其特点在于自动容错,位置感知性调度和可伸 ...
分类：
其他好文 时间：
2019-01-07 21:11:04
阅读次数：
175
hadoop生态系统如下图所示： HDFS： HDFS（Hadoop Distributed File System）是分布式文件系统，是针对谷歌开发的分布式文件系统GFS（Google File System）的开源实现，是Hadoop两大核心组成部分之一。 HDFS有NameNode和DataN ...
分类：
其他好文 时间：
2019-01-04 23:33:32
阅读次数：
344
