环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、RDDRDD（Resilient Distributed Dataset）叫做弹性分布 ...
分类：
其他好文 时间：
2019-04-01 17:13:05
阅读次数：
182
在分布式系统中,每一个机器节点虽然都能够明确地知道自己在进行事务操作过程中的结果是成功或失败,但却无法直接获取到其他分布式节点的操作结果.因此,当一个事务操作需要跨越多个分布式节点的时候,为了保持事务处理的ACID特性,就需要引入一个称为协调者(Coordinator)的组件来统一调度所有分布式节点 ...
分类：
其他好文 时间：
2019-03-31 14:09:33
阅读次数：
142
基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 ...
分类：
其他好文 时间：
2019-03-28 00:09:31
阅读次数：
158
一、分布式词表示（Distributed Represantation） Word2Vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，具体思想可由Tomas Mikolov的两篇论文一探究竟。此文是我对Word2Vec学习的总结。分布式词表示使用低维 ...
分类：
其他好文 时间：
2019-03-25 23:37:28
阅读次数：
248
Resilient Distributed Datasets RDD本质上是一组数据的Spark表示，分布在多台机器上，使用API??让您对其进行操作。RDD可以来自任何数据源，例如文本文件，通过JDBC的数据库等。 其定义为： 弹性分布式数据集（RDD）是Spark的基本数据结构。它是一个不可变的 ...
分类：
其他好文 时间：
2019-03-25 01:01:07
阅读次数：
171
序言 1. master.go 可以正常调用Distributed() 和 Sequential()。 Sequential 顺序执行主要用于调试。 2. master : 创建一个 RPC server(master_rpc.go). 等待 worker 注册服务（master.go Regist ...
分类：
其他好文 时间：
2019-03-24 21:36:21
阅读次数：
159
一、Servlet 是单例吗 不是。 1、你可以用多个 URL 映射同一个 Servlet。这样就会出现多个实例。 2、看看 Servlet 定义： 引用 For a servlet not hosted in a distributed environment (the default), the ...
分类：
其他好文 时间：
2019-03-18 21:13:08
阅读次数：
227
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 ...
分类：
其他好文 时间：
2019-03-15 19:05:06
阅读次数：
151
presto 0.217 官方：http://prestodb.github.io/ 一 简介 Presto is an open source distributed SQL query engine for running interactive analytic queries against ...
分类：
其他好文 时间：
2019-03-14 13:26:12
阅读次数：
163
1、分布式基础理论 1.1）、什么是分布式系统？ 《分布式系统原理与范型》定义： “分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统” 分布式系统（distributed system）是建立在网络之上的软件系统。 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构 ...
分类：
其他好文 时间：
2019-03-04 09:25:18
阅读次数：
187
