1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类:
其他好文 时间:
2014-05-10 04:28:25
阅读次数:
475
搭建hadoop集群的时候一定会用到的就是SSH免密码登录[hadoop@hadoop1 ~]$
ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to
save the key (/home/ha...
分类:
系统相关 时间:
2014-05-09 23:10:11
阅读次数:
471
很多人在学习Nutch、Hadoop或者熟悉Linux操作系统时都会选择在VMWare上安装Linux虚拟机,而又往往不想分配给Linux虚拟机足够大的硬盘空间,这就容易导致使用Linux一段时间后,发现虚拟机上的硬盘空间不够了,此时怎么解决?有的人直接选择了重新安装Linux虚拟机,但是下一次硬盘又不够了呢,还要重新安装操作系统吗,那再下一次呢?这种方法势必会进入一个重复无聊的过程,除了增加安装...
分类:
系统相关 时间:
2014-05-09 21:52:40
阅读次数:
526
关于注册公众账号这块不详细介绍
注册完成,审核认证完,就可以开始玩了
1.成为开发者?
需要填写接口配置信息,需要自己的服务器资源,一般自己没有服务器,所以可以采用云服务器,例如BAE,SAE,阿里云服务器。这里用BAE
2.打开百度开放云平台官网,注册,登陆,点击开发者服务管理
点击“创建工程”
填写工程相关信息,应用名称自定义,类型选择java-tomcat...
分类:
微信 时间:
2014-05-09 21:47:12
阅读次数:
742
目的
这份文档描述 CapacityScheduler,一个为Hadoop能允许多用户安全地共享一个大集群的插件式调度器,如他们的应用能适时被分配限制的容量。
概述
CapacityScheduler 被设计成以分享的、多用户集群运行 Hadoop 应用并最大化利用集群的机制。
传统上,每一个组织都会有它自己的私有电脑资源,在顶峰或接近顶峰状态有充足的容量来面对组织的SLA...
分类:
其他好文 时间:
2014-05-09 13:59:54
阅读次数:
424
HubbleDotNet 从 1.2.3 版本以后开始在官方代码中支持和 Mongodb
对接,Mongodb 是10gen 公司开发的 no-sql 数据库,其读写性能比传统关系数据库要快很多,而且可以非常方便的分布式部署。HubbleDotNet
通过支持 Mongodb 也使其本身同时具备了 ...
分类:
数据库 时间:
2014-05-09 08:05:58
阅读次数:
476
最近租了个阿里云服务器玩,因为没有备案,直接通过IP是无法访问网站的,所以自己摸索出了一种临时访问未备案的阿里云服务器上搭建的网站的方法.
原理很简单,阿里云会判断访问服务器的域名是否已备案,若已备案,则跳转到阿里云内部相应ip的服务器,所以我们只需要找一个阿里云备案过的域名(直接在阿里云的成...
分类:
Web程序 时间:
2014-05-09 07:58:45
阅读次数:
470
对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。ZooKeeper是Hadoop的开源子项目(GoogleChubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。Zookeeper的FastFail和Leader选举特性大大增强了分..
分类:
其他好文 时间:
2014-05-09 00:54:51
阅读次数:
265
1.COPY配置文件:cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录:vimhive-env.shHADOOP_HOME=/usr/a..
分类:
其他好文 时间:
2014-05-09 00:51:29
阅读次数:
282