1、RDD RDD（Resilient Distributed Dataset弹性分布式数据集）是Spark中抽象的数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据时分区存储的，这样不同分区的数据就可以分布在不同 ...
Spark RDD（Resilient Distributed Datasets）论文 概要 1: 介绍 2: Resilient Distributed Datasets（RDDs） 2.1 RDD 抽象 2.2 Spark 编程接口 2.2.1 例子 – 监控日志数据挖掘 2.3 RDD 模型的 ...
分类：
Web程序 时间：
2017-12-26 11:53:42
阅读次数：
890
"Ventromedial prefrontal cortex supports affective future simulation by integrating distributed knowledge" 让每个被试分别命名200个自己私人熟悉的人和200个地方，然后对这400个东西进行评分 ...
分类：
其他好文 时间：
2017-12-25 19:28:49
阅读次数：
156
重要术语 1. KDC 全称：key distributed center 作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS 2. AS 全称：authentication service 作用：为client生成TGT的服务 3. TGS 全称：ticket grantin ...
分类：
其他好文 时间：
2017-12-25 11:39:36
阅读次数：
213
概述：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错 ...
分类：
其他好文 时间：
2017-12-19 01:02:50
阅读次数：
107
简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性 ...
分类：
其他好文 时间：
2017-12-18 18:42:37
阅读次数：
188
基于数据集的处理：从物理存储上加载数据，然后操作数据，然后写入物理存储设备。比如Hadoop的MapReduce。 缺点：1.不适合大量的迭代 2. 交互式查询 3. 不能复用曾经的结果或中间计算结果 基于工作集的处理：如Spark的RDD。RDD具有如下的弹性： 1. 自动的进行内存和磁盘数据存储 ...
分类：
其他好文 时间：
2017-12-14 04:04:55
阅读次数：
147
Installation Contents Jython 2.7.1 Basic Install Standalone mode Installation options Jython 2.7.1 Basic Install Jython 2.7.1 is distributed via an ex ...
分类：
其他好文 时间：
2017-12-13 00:08:23
阅读次数：
230
一、简单介绍????Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。其核心功能通过Linux的内核实现，比文件系统更加靠近操作系统内核及IO栈。DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。可以理解为网络RAID1.?复制原理
分类：
其他好文 时间：
2017-12-07 22:45:55
阅读次数：
692
在 2006 年的 OSDI 上，Google 发布了名为 Bigtable: A Distributed Storage System for Structured Data 的论文，其中描述了一个用于管理结构化数据的分布式存储系统 - Bigtable 的数据模型、接口以及实现等内容。 本文会先 ...
分类：
数据库 时间：
2017-12-06 23:46:37
阅读次数：
362
