一、Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架
二、HDFS的架构
主从结构
? 主节点,只有一个: namenode? 从节点,有很多个: datanodes? namenode负责:? 接收用户操作请求? 维护文件系统的目录结构? 管理文...
分类:
其他好文 时间:
2015-05-24 12:59:35
阅读次数:
211
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点...
分类:
其他好文 时间:
2015-05-22 16:36:03
阅读次数:
107
浅谈软件架构(二) cnyinlinux 之前发布过的博文,已经对C/S和B/S作了讨论,本文将讨论的是集群—Cluster。 1. C/S 2. B/S 3. Cluster (HA) 4. Cloud 5. Distributed 6. APNS-like 7. P2P ? 集群的技术是近年来计...
分类:
其他好文 时间:
2015-05-22 13:39:46
阅读次数:
152
打开控制面板,找到添加/删除程序,添加/删除windows组件,选最后一个“消息队列”,勾上安装。安装时可能需要winxp光盘出现:无法启动MSMQ服务错误代码:0x42c错误描述:依存服务无法启动原因:distributed transaction coordinator服务未启动或权限不够解决:...
分类:
其他好文 时间:
2015-05-19 18:11:53
阅读次数:
261
在使用TransactionScope 类时遇到的问题。“服务器****上的MSDTC不可用。”在命令行下输入net start msdtc,启动失败。到“服务”中启动,提示“windows 不能在 本地计算机启动 Distributed Transaction Coordinator .有关更多信...
分类:
其他好文 时间:
2015-05-19 16:19:47
阅读次数:
139
memcache官方定义Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dyn...
分类:
系统相关 时间:
2015-05-18 18:17:59
阅读次数:
151
UUID含义是通用唯一识别码 (Universally Unique Identifier),这 是一个软件建构的标准,也是被开源软件基金会 (Open Software Foundation, OSF) 的组织在分布式计算环境 (Distributed Computing Environment,...
分类:
编程语言 时间:
2015-05-18 10:45:53
阅读次数:
164
What is RDD?
A Resilient Distributed Dataset(RDD),分布式弹性数据集,是Spark上的一个核心抽象
表示用于并行计算的,不可修改的,对数据集合进行分片的数据结构
在Spark上,针对各种各样的计算场景存在着各种各种的RDD,这些RDD拥有一些共同的操作,例如map,filter,persist等,就好像RDDs都是一个总RDD的子类一样,拥有所有...
分类:
其他好文 时间:
2015-05-17 13:47:42
阅读次数:
172
本文地址:http://www.cnblogs.com/myresearch/p/hadoop-standalone-pseudo-distributed-operation.html,转载请注明源地址。基本环境配置可以使用命令uname -a 查看linux的版本:master@ubuntu:~$...
分类:
其他好文 时间:
2015-05-14 11:47:23
阅读次数:
184
exec sp_configure 'show advanced options',1reconfigureexec sp_configure 'Ad Hoc Distributed Queries',1reconfigureselect * from openrowset( 'SQLOLEDB',...
分类:
数据库 时间:
2015-05-14 11:46:14
阅读次数:
161