HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点： 1）适合存储非常大的文件 2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式 3）适合部署在廉价的机器上
分类：
其他好文 时间：
2015-07-07 16:00:48
阅读次数：
97
HDFS 的设计主要基于以下六点考虑： (1)容错 独立计算机的硬件错误不能当异常情况处理，而属于正常状态。HDFS 文件系统中会有许多个普通计算机节点构成， 在任何时间任何一个节点都有可能出现故障， 因此HDFS 应该...
分类：
其他好文 时间：
2015-07-06 08:56:57
阅读次数：
160
antcampus@alipay.com岗位描述： 如果你想了解JAVA开发在阿里巴巴互联网生态系统中无与伦比的应用广度与深度 如果你对 基础技术感兴趣，你可以参与基础软件的设计、开发和维护，如分布式文件系统、缓存系统、Key/Value存储系统、数据库、Linux操作系统和Java优化...
分类：
编程语言 时间：
2015-07-03 23:18:34
阅读次数：
244
内容概述1、分布式文件系统介绍2、CAP理论3、常见分布式文件系统介绍4、MogileFS详细介绍4、1MogileFS组成4、2MogileFS特性5、MogileFS实现5、1node1配置Mariadb（过程略）5、2node1配置tracker5、3node2配置storage5、4node3配置storage5、5配置分布式集群5、5、1添加主机5、5..
分类：
其他好文 时间：
2015-06-28 06:32:14
阅读次数：
394
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
hdfs只是其中一种。适用于一次写入、多次查询的情况，不支持并发写情况，小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数...
分类：
其他好文 时间：
2015-06-27 16:31:09
阅读次数：
100
参考文章：
Mongo hadoop connector
https://github.com/mongodb/mongo-hadoop
wiki
https://github.com/mongodb/mongo-hadoop/wiki
ppt
http://www.slideshare.net/mongodb/hadoop-webinar?from_embed_lead_cta=t...
分类：
数据库 时间：
2015-06-27 09:52:19
阅读次数：
231
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署：说明：公司想做网站业务日志及系统日志统一收集和.....
分类：
其他好文 时间：
2015-06-25 00:08:21
阅读次数：
384
在复制卷下，一台服务器节点离线，可以通过删除全部的配置文件来进行恢复。1、停止Gluster相关服务，并kill掉所有Gluster相关进程。2、配置文件只保留glusterd.info即可。3、启动服务。说明：如果因vol配置文件无法成功加载导致的服务启动失败，可以删除对应的配置文件。因节点..
分类：
其他好文 时间：
2015-06-24 19:16:52
阅读次数：
2322
linux的文件系统的类型：ext(2.3.4),xfs,ffs,ufs,reiserfs,jfs,交换文件系统：swap网络文件系统：nfs,smbfs分布式文件系统：ceph光盘文件系统：isso9660btrfs,linux文件系统结构示意图:注：图片出处来自“鸟哥私房菜”常用的ext2.3.4文件系统（ext2没有日志记录）：ext类文件系..
分类：
系统相关 时间：
2015-06-21 23:56:09
阅读次数：
214
