一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统:CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类:
其他好文 时间:
2014-09-03 15:05:57
阅读次数:
252
1#!/bin/bashpid=`ps-ef|greptomcat8082|grep-vgrep|wc-l`port=`netstat-anplt|grep8082|wc-l`path=/usr/tomcat/tomcat8082/bin/startup.shif[$pid=1-a$port-eq1];thenecho"tomcatisrunning"elseecho"tomcat8082isstopedandnowlet‘srunit"sleep3echo"nowrestarttomcat8082"[-x$..
分类:
其他好文 时间:
2014-09-03 11:26:37
阅读次数:
237
今天在删除一个hive表的时候,发现hdfs的空间没有释放,刚开始一直觉得是自己删除有问题,结果在hdfs上也没有查到,最后发现是CDH的namenode有一个文件系统垃圾间隔设置,默认设置一天,也就是说删除的文件需要一天才能被删掉。配置如图,希望能帮助要有同样疑惑的人。还有这个..
分类:
其他好文 时间:
2014-09-03 02:48:26
阅读次数:
249
With a system running 24/7, you have to make sure that it performs well at any time of the day. Several commercial solutions exist to monitor the perf...
分类:
编程语言 时间:
2014-09-02 21:08:15
阅读次数:
338
hadoop学习笔记之--完全分布模式安装 Hadoop完全分布式模式安装步骤 Hadoop模式介绍 单机模式:安装简单,几乎不用作任何配置,但仅限于调试用途 伪分布模式:在单节点上同时启动namenode、datan...
分类:
其他好文 时间:
2014-09-02 20:02:55
阅读次数:
368
The most difficult aspect of running Nettuts+ is accounting for so many different skill levels. If we post too many advanced tutorials, our beginner a...
分类:
Web程序 时间:
2014-09-02 19:40:45
阅读次数:
425
Hadoop安装方案一、概述本文档适用于hadoop安装,采用1主+1从的方案,两台设备,可自由扩展多从节点。包含hadoop+habase+zookeeper,可作为通用hadoop框架安装的参考。二、主机规划主节点(Namenode):10.11.20.108 hadoop+habase从节点(...
分类:
其他好文 时间:
2014-09-02 11:56:54
阅读次数:
370
第一篇文章还有要修改的地方,现在我的集群已经扩展到5台(虚拟机)有些配置还要改,这一篇记录一下Hadoop HA 和zookeeper的配置,方便自己以后看。 新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。 在HDFS(HA...
分类:
其他好文 时间:
2014-09-01 02:43:42
阅读次数:
521
Errors occurred during thebuild.
Errors running builder 'Maven Project Builder' on project'ebus.transaction'.
org/codehaus/plexus/archiver/jar/JarArchiver
两种方式参考:
第一种:在pom.xml文件里的maven-compiler-...
分类:
Web程序 时间:
2014-08-31 21:30:11
阅读次数:
710
思路:肯定是某个item触发了触发器去看触发器,找到 slave is stoped,如下图看到键是mysql.running-slave ,然后去定义key的文件中查看该键对应的脚本,修改脚本。got it。
分类:
其他好文 时间:
2014-08-29 23:53:00
阅读次数:
267