摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类：
其他好文 时间：
2014-06-20 13:33:46
阅读次数：
151
??
什么是分布式系统
分布式系统有多个含义：
1）表示计算机科学的一个研究领域，研究方向。这个层面的分布式系统比较学术，不是本文讨论的对象。
2）工程领域的实际使用的分布式系统。分布式系统是互联网应用的基石，是底层的支撑平台。本文讲的分布式系统指这个层面。
互联网应用的特点是：高并发，海量数据。互联网应用的用户数是没有上限的(取决于其开放特性)，这也是和传统应用的本质区别。高并...
分类：
其他好文 时间：
2014-06-19 10:08:44
阅读次数：
399
核心目标：Google File System是一个面向密集应用的，可伸缩的大规模分布式文件系统。GFS运行在廉价的设备上，提供给了灾难冗余的能力，为大量客户机提供了高性能的服务。1．一系列前提GFS的系统构建针对其自身使用的特点在传统的分布式系统的基础上又进行了一些创新,基于的前提假设主要包括以下...
分类：
其他好文 时间：
2014-06-19 08:44:16
阅读次数：
261
Sun's Network File System...
分类：
其他好文 时间：
2014-06-08 15:21:30
阅读次数：
308
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
一、简介1、介绍MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal旗下DangaInteractive公司开发，Danga团队开发了包括Memcached、MogileFS、Perlbal等不错的开源项目：(注：Perlbal是一个强大的Perl写的反向代理服务器)2、MogileFS的特性（1）工作..
分类：
其他好文 时间：
2014-05-25 08:37:04
阅读次数：
430
概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于..
分类：
其他好文 时间：
2014-05-25 08:25:49
阅读次数：
620
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了，把大量数据部署在便宜的硬件上，即使其中某些磁盘出现故障，HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入，多次读取的程序，文件写入后，就不需要修改了。像...
分类：
其他好文 时间：
2014-05-25 01:02:09
阅读次数：
285
本篇博客从Web集群中亟需解决的大容量存储问题引入，分析了几类常用的共享存储架构，重点解析了分布式存储系统的原理及配置实现；===================================================================1共享存储的架构演变2分布式存储系统2.1基础知识2.2分类2.3CAP理论2.4协议..
分类：
Web程序 时间：
2014-05-20 21:42:00
阅读次数：
862
