HDFS是存储数据的分布式文件系统,对HDFS的操作,就是对文件系统的操作,除了用HDFS的shell命令对文件系统进行操作,我们也可以利用Java API对文件系统进行操作,比如文件的创建、删除、修改权限等等,还有文件夹的创建、删除、重命名等等。 使用Java API对文件系统进行操作主要涉及以下
分类:
编程语言 时间:
2016-01-31 21:35:02
阅读次数:
300
2006年的OSDI有两篇google的论文,分别 是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统, 构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了Big...
分类:
其他好文 时间:
2015-12-28 00:43:30
阅读次数:
307
Redis简介Redis是一个开源的,使用C语言编写,面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景。Redis纯粹为应用而产生,它是一个高性能的key-value数据库,并且提供了多种语言的API性能测试结果表示SET操作每秒钟可达110000次...
分类:
Web程序 时间:
2015-12-21 18:28:05
阅读次数:
256
一.HDFS的Shell命令我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作,如ls、mkdir、rm 等。我们在...
分类:
系统相关 时间:
2015-12-04 01:05:21
阅读次数:
1306
hbase安装0. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理H....
分类:
系统相关 时间:
2015-12-01 16:22:15
阅读次数:
241
本文来源:通通学--知识学习与分享平台转载链接:http://www.tongtongxue.com/archives/220.htmlHadoop的核心HDFS:HadoopDistributedFileSystem分布式文件系统MapReduce:并行计算框架Yarn:集群资源管理和调度框架Hadoop是什么?适合大数据的分布式存储、计算、资源管理平台作..
分类:
其他好文 时间:
2015-11-29 19:43:15
阅读次数:
189
Hadoop项目是什么?Hadoop是一个适合大数据的分布式存储与计算平台。作者:Doug Cutting;Lucene,Nutch。受Google三篇论文的启发Hadoop核心项目HDFS: Hadoop Distributed File System 分布式文件系统MapReduce:并行计算框...
分类:
其他好文 时间:
2015-11-24 07:34:36
阅读次数:
214
本文转载:通通学--知识学习与分享平台Hadoop的核心HDFS:HadoopDistributed File System 分布式文件系统MapReduce:并行计算框架Yarn:集群资源管理和调度框架Hadoop是什么?适合大数据的分布式存储、计算、资源管理平台作者:Doug Cutting受G...
分类:
其他好文 时间:
2015-11-22 23:13:06
阅读次数:
197
Hadoop是一个是个海量数据的分布式存储和计算平台对于数据,我们大致可以将其分为三类:结构化数据(对于结构化数据的处理可以通过RDBMS处理,通过将搜索码创建为索引页可以实现很快的查询速度)半结构化数据(一般可以使用类型XML进行标记处理)非结构化数据其实,非结构化数..
分类:
其他好文 时间:
2015-11-13 19:16:28
阅读次数:
370
Redis简介Redis是一个开源的,使用C语言编写,面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景。Redis纯粹为应用而产生,它是一个高性能的key-value数据库,并且提供了多种语言的API性能测试结果表示SET操作每秒钟可达110000次...
分类:
Web程序 时间:
2015-11-11 20:50:15
阅读次数:
345