1. Add Partition ToolPartitions act as unit of parallelism. Messages of a single topic are distributed to multiple partitions that can be stored and s...
分类:
其他好文 时间:
2015-01-10 23:37:04
阅读次数:
440
/*
* Licensed to the Apache Software Foundation (ASF) under one or more
* contributor license agreements. See the NOTICE file distributed with
* this work for additional information regarding c...
分类:
其他好文 时间:
2015-01-07 13:09:24
阅读次数:
193
简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ①保存多个副本,且提供容错机制,副本丢失或宕机...
分类:
其他好文 时间:
2015-01-07 00:29:30
阅读次数:
196
RDD(Resilient Distributed DataSet)弹性分布式数据集,是Spark的核心数据结构。
DSM(Distributed Shared Memory)分布式共享内存,它是一种通用的内存数据抽象。在DSM中,应用可以向全局地址空间的任意位置进行读写操作。
RDD与DSM主要区别在于,不仅可以通过批量转换创建(即“写”)RDD,还可以对任意内存位置对写。RDD限制应用执行...
分类:
其他好文 时间:
2015-01-05 13:09:07
阅读次数:
188
分布式事务处理( Distributed Transaction Processing , DTP )涉及多个分布在不同地方的数据库,但对数据库的操作必须全部被提交或者回滚。只要任一数据库操作时失败,所有参与事务的数据库都需要回滚。 举个例子,A服务部署在tomcat上,执行insert a并...
分类:
编程语言 时间:
2015-01-03 21:00:35
阅读次数:
259
设计的所有问题在于如何在不可信机器部件上建立可靠的分布式系统;
RPC;
机器各司其职, 每个机器只需要做好自己的事情,就可以保证整个系统健康运行;
分类:
其他好文 时间:
2014-12-31 14:29:54
阅读次数:
169
HDFS简介
HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。
和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。
不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。
为什么hadoop不适合存储小文件
...
分类:
其他好文 时间:
2014-12-30 17:09:27
阅读次数:
262
环境:win7(64位)+sql2008sql语句: --启用Ad Hoc Distributed Queries:exec sp_configure 'show advanced options',1reconfigureexec sp_configure 'Ad Hoc Distribute.....
分类:
数据库 时间:
2014-12-26 10:57:55
阅读次数:
212
SQLServer跨服务器访问数据库(openrowset/opendatasource/openquery)1、启用Ad Hoc Distributed Queries 在使用openrowset/opendatasource前搜先要启用Ad Hoc Distributed Queries服务,因...
分类:
数据库 时间:
2014-12-26 10:53:11
阅读次数:
211
参考http://dcg.ethz.ch/lectures/podc_allstars/分享地址:链接:http://pan.baidu.com/s/1bnF8vcr密码:vzxa
分类:
其他好文 时间:
2014-12-24 11:17:49
阅读次数:
120