HDFS
HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点:
1)适合存储非常大的文件
2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式
3)适合部署在廉价的机器上
但HDFS不适合以下场景(任何东西都要分两面看,只有适合自己业务的技术才是真正的好技术):
1)不适合存储大量的小文件,因为受Namenode内...
分类:
其他好文 时间:
2014-08-14 16:46:28
阅读次数:
260
安装sshHadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下:输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动:可以看到ssh正常启动;设置免密码登录,生成私钥和公钥:在/root/.ssh中...
分类:
其他好文 时间:
2014-08-14 13:50:18
阅读次数:
879
遇到的问题对于Web程序,使用一台服务器的时候,客户端上传的文件一般也都是存储在这台服务器上。但在集群环境中就行不通了,如果每个服务器都存储自己接受到的文件,就乱套了,数据库中明明有这个附件的记录,却找不到这个文件。于是,文件需要进行统一集中管理,并向集群中的服务器提供统一的路径。基于NFS的分布式...
分类:
Web程序 时间:
2014-08-14 10:28:48
阅读次数:
461
当部署openfire后,创建用户和发送离线消息时会出现中文字符乱码的问题。要解决这个问题需要同时配置openfire和mysql两端。首先openfire端,在安装页面中指定odbc连接串中需要带有?useUnicode=true&characterEncoding=UTF8&charset=ut...
分类:
其他好文 时间:
2014-08-13 21:50:07
阅读次数:
235
1整体架构2中央日志服务器配置2.1配置时钟同步2.1.1方式一中央日志服务器和Tomcat节点均向同一个时钟源(例如:pool.ntp.org)进行对时即可。说明:本小节下面命令均以root用户执行,并且在中央日志服务器和Tomcat节点均要执行。首先,需要关闭ntpd服务:servicentpdstopchkcon..
分类:
其他好文 时间:
2014-08-13 19:27:18
阅读次数:
345
Hadoop 2.2.0 集群配置攻略
用户输入标识: chmod
+x jdk-7u45-linux-x64.rpm 为黑色带底纹
系统输出标识: java version "1.7.0_51"
为绿色小字
2014年3月20-日 by lilihao Q 404536204
1. 安装sun jdk
(1). 到Oracle的官方网站...
分类:
系统相关 时间:
2014-08-13 18:55:57
阅读次数:
543
文章《HBase备份之导入导出》介绍了使用HBase的自带工具Export和Import来实现在主集群和从集群之间拷贝表的目的。本篇介绍一种相比导入导出而言,更快速的一种备份办法。即ExportSnapshot。
1、ExportSnapshot
和Export类似,ExportSnapshot也是使用MapReduce方式来进行表的拷贝。不过和Export不同,ExportSnapsho...
分类:
其他好文 时间:
2014-08-13 18:55:47
阅读次数:
287
HDFS联邦
本指南提供了一个HDFS联邦特性的综述,以及如何配置和管理联邦的集群。
背景
HDFS有两个主要的层次:
1. Namespace
a) 包含很多的目录,文件和block
b) 他提供所有的文件系统操作像创建,删除,修改该和list文件和目录的命名空间
2. Block Storage Service有两个部分
a)...
分类:
其他好文 时间:
2014-08-13 14:59:36
阅读次数:
245
我要买几本Java的书
大家推荐推荐
现在主要的工作是 代码重构,提高性能,提高可拓展性,降低耦合,集群,分布式数据库
这些方面
数据库查询优化
hibernate优化
而我对这些都不太了解。。。。 求大神指点迷津...
分类:
其他好文 时间:
2014-08-13 13:09:46
阅读次数:
172
在构建iSCSI存储集群时,请勿在gfs2中使用selinux
分类:
系统相关 时间:
2014-08-13 12:30:56
阅读次数:
243