转载自http://www.csdn.net/article/2010-11-26/282582http://subject.csdn.net/hadoop/一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单...
分类:
其他好文 时间:
2015-08-13 20:03:16
阅读次数:
84
1.UUID 简介 UUID含义是通用唯一识别码 (Universally Unique Identifier),这是一个软件建构的标准,也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算环境 (Distributed Computing.....
分类:
编程语言 时间:
2015-08-13 17:40:02
阅读次数:
113
DDos(Distributed Denial of Service),分布式拒绝服务,在游戏、在线业务等方面常会发现这样的攻击,一般是竞争对手所为。那DDOS攻击的方式有哪些呢?
1流量攻击(四层)
主要是针对网络带宽的攻击,即大量攻击包导致网络带宽被阻塞,合法网络包被虚假的攻击包淹没而无法到达主机。
1.1 SYN/ACK Flood攻击
这个是很古老的攻击方法了,不过前期还是挺凑效的,...
分类:
其他好文 时间:
2015-08-13 12:24:32
阅读次数:
173
Algorithm:Refrence from one ICML15 paper: Word Mover's Distance.1. First use Google's word2vec tool to get distributed word representing aka. word vec...
分类:
其他好文 时间:
2015-08-12 23:22:04
阅读次数:
191
HDFS原理
HDFS(Hadoop Distributed File System)是一个分布式文件系统,是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问,非常适合大规模数据集上的应用,它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。
高吞吐量访问:HDFS的每个Block分布在不同的Rack上,在用户访问时,HDFS会计算使用最近和访问量最小的服务器给用户提...
分类:
其他好文 时间:
2015-08-12 13:21:12
阅读次数:
110
转自:http://www.uml.org.cn/sjjm/201508103.asp 作者:Uri Margalit 来源:InfoQ 发布于:2015-8-10TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行...
分类:
其他好文 时间:
2015-08-10 17:46:57
阅读次数:
240
Hadoop中HDFS的存储机制HDFS(Hadoop Distributed File System)是Hadoop分布式计算中的数据存储系统,是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念,然后介绍HDFS中读写操作的过程,最后分析了HDFS的优缺点。...
分类:
其他好文 时间:
2015-08-09 18:26:44
阅读次数:
182
本文转载:http://shiyanjun.cn/archives/744.html摘要本文提出了分布式内存抽象的概念——弹性分布式数据集(RDD,Resilient Distributed Datasets),它具备像MapReduce等数据流模型的容错特性,并且允许开发人员在大型集群上执行基于内...
分类:
其他好文 时间:
2015-08-09 13:52:01
阅读次数:
144
我们在Concurrent & Distributed Systems课的实验中需要用到Ada语言。
通俗而笼统地讲,Ada语言是一种描述特别详尽的语言(highly specific),因此它的特点是在编译阶段和运行时能够进行大量的检查,能够更加精确地定位错误的位置和类型(因为语言本身详尽了,你提供的信息量越大,编译器能够做的就更多)。
这里是Ada的参考手册
本篇翻译...
分类:
编程语言 时间:
2015-08-09 12:39:46
阅读次数:
174
原始链接:https://www.zybuluo.com/jewes/note/35032RDD是什么?A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable(不可改...