Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark生态圈,AMPLab运用大数据、云计算、通信等各种资源,以及各种灵活的技术方案,对海量不透明的数...
分类:
其他好文 时间:
2014-06-11 06:59:31
阅读次数:
288
1、分布式领域CAP理论:Consistency(一致性),
数据一致更新,所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容错性)
可靠性定理:任何分布式系统只可同时满足二点,没法三者兼顾。忠告:架构师不要将精力浪费在如何设计能满...
分类:
其他好文 时间:
2014-06-10 10:14:30
阅读次数:
232
本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的安装部署。
分类:
其他好文 时间:
2014-06-10 10:13:49
阅读次数:
313
安装scp mongodb-linux-x86_64-2.6.0.tgz
user@host:/home/user/ssh user@hosttar zxvf mongodb-linux-x86_64-2.6.0.tgzmv
mongodb-linux-x86_64-2.6.0 mongodbcd....
分类:
数据库 时间:
2014-06-09 20:43:24
阅读次数:
226
git 是一种分布式版本控制系统, Distributed Version Control
System.linux 内核开源项目有众多的参与者,2002年, 整个项目组开始启用分布式版本控制系统BitKeeper
来管理和维护代码,到了2005年,开发BitKeeper的公司同Linux内核开源社...
分类:
其他好文 时间:
2014-06-09 20:24:17
阅读次数:
880
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分
布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop
按位存储和处理数据的能力值得人们信赖。2.高...
分类:
其他好文 时间:
2014-06-09 15:48:27
阅读次数:
201
XMLRPC XMLRPC 为以http为传输协议,使用xml格式化数据来执行远程过程调用,
区别于本地过程调用, 即发生在不同主机之间。 属于分布式计算的一种简单实现,比web
service简单易用。xml语言被多种语言广泛支持,是一种可扩展的标记语言,xmlrpc被多种平台实现,以此提供的.....
分类:
其他好文 时间:
2014-06-09 15:34:52
阅读次数:
263
今天在本地机直接在触发器里更新还有一台服务器数据时出现:
MSDTC不可用解决的方法:在windows控制面版-->管理工具-->服务-->Distributed Transaction
Coordinator-->属性-->启动 1.A.不用事务,关用SELECT 语句.能否够分布式查询? B.L...
分类:
数据库 时间:
2014-06-08 21:13:20
阅读次数:
279
Erlang是一种并发编程语言(面向并发编程),它可以和分布式、多核/多处理器编程结合的天衣无缝。Erlang主要用来编写分布式的应用程序。下面看看Erlang开发环境的搭建。1.
http://www.erlang.org/download.html下载64位安装文件2. 把安装文件目录配置在环境...