[root@varnishmfs]#/usr/local/mfs/sbin/mfsmasterrestart启动出现下面错误workingdirectory:/usr/local/mfs/var/mfslockfilecreatedandlockedinitializingmfsmastermodules...loadingsessions...oksessionsfilehasbeenloadedexportsfilehasbeenloadedmfstopologyconfiguration..
分类：
其他好文 时间：
2014-12-17 19:01:50
阅读次数：
392
本文发表于本人博客。 我们知道HDFS是Hadoop的分布式文件系统，那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧，这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。 先输入hadoop ...
分类：
系统相关 时间：
2014-12-16 13:22:12
阅读次数：
241
HBase配置和使用文档
HBase配置和使用文档......................................................................................................
1
一、 HBase原理和结构说明...................................................
分类：
其他好文 时间：
2014-12-14 21:24:13
阅读次数：
261
1）NameNode、DataNode和Client NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文.....
分类：
其他好文 时间：
2014-12-13 16:28:52
阅读次数：
148
这里先写下自己学习RPC的笔记总结，下面将详细介绍学习过程：
RPC(remote procedure call)
不同java进程间的对象方法的调用。
一方称作服务端(server)，一方称作客户端(client)。
server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。
RPC是hadoop框架运行的基础。
通...
分类：
其他好文 时间：
2014-12-13 13:33:29
阅读次数：
223
淘宝技术发展（个人网站）淘宝技术发展（Oracle/支付宝/旺旺）淘宝技术发展（Java时代：脱胎换骨）淘宝技术发展（Java时代：坚若磐石）创造技术 分布式文件系统TFS、分布式kv缓存tair、搜索引擎升级淘宝技术发展（Java时代：创造技术-Tair）淘宝技术发展（分布式时代：服务化）
分类：
其他好文 时间：
2014-12-13 12:01:43
阅读次数：
237
用途：解决mfsmaster的单点问题，同样可以作为其他需要高可用环境的标准配置方法规划：使用drbd实现主备机的灾容，Heartbeat做心跳监测，Pacemaker实现服务（资源）的切换及控制等描述：drbd双主模式对网络和配置要求比较高，在此结构下不采用；drbd需要清空一个分区，并且不能..
分类：
其他好文 时间：
2014-12-11 16:01:38
阅读次数：
297
理论基础：User → HA → Lb → web → sql →分布式filesystem ->磁盘I/O用户 高可用 负载均衡 应用 数据库mfs/hadoop磁盘I/O是硬伤，前面的各个厂商基本都可以做到最好，虽然可以考虑换成固态硬盘，但是固态的价格就目前来看相对比较昂贵，实际情况下显然...
分类：
其他好文 时间：
2014-12-11 14:00:28
阅读次数：
394
在学习Hadoop FileSystem模块之前，最好的建议就是先去学习一下Linux本地文件系统的设计实现，这将会大大的帮助你了解Hadoop FileSystem，至少很多思想都是共通的。其实老实说，Hadoop FileSystem的确是集成了很多文件系统的诸多优点，在设计上还是有非常多值得学习的地方的。这里说的FileSystem可不是就仅仅的是HDFS，HDFS只是他的一个实现。也就是F...
分类：
其他好文 时间：
2014-12-11 12:31:42
阅读次数：
312
Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。本文讲述了Tachyon的重要概念、使用方法以及基本原理。...
分类：
其他好文 时间：
2014-12-09 09:26:53
阅读次数：
243
