VM虚拟机配置：NAT网络配置参考：http://www.cnblogs.com/gongice/p/4337379.html安装Hadoop前的装备（在每一台主机上）：配置sudo（可选）：[root@hadoop01 hadoop]# chmod u+w /etc/sudoers[root@ha...
分类：
其他好文 时间：
2015-03-15 00:31:26
阅读次数：
140
在安装部署HBase时一定要保持服务器环境的整洁，不能随便添加与集群无关的hosts配置。本文就以一则对HBase进行写入操作时产生阻塞的现象作为切入点，指出为何要保证集群环境的整洁，以及该问题的解决办法。...
分类：
其他好文 时间：
2015-03-13 14:22:34
阅读次数：
617
Ganglia监控Hadoop集群的安装部署一、 安装环境Ubuntuserver 12.04安装gmetad的机器：192.168.52.105安装gmond的机 器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.5...
分类：
其他好文 时间：
2015-03-12 11:28:51
阅读次数：
166
Hadoop工作节点扩展硬盘空间接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。1.首先，介绍一下用到的基本命令和配置，如果本文的网友时...
分类：
其他好文 时间：
2015-03-12 11:20:25
阅读次数：
161
1、Apache NutchApache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetc...
分类：
其他好文 时间：
2015-03-06 15:51:23
阅读次数：
143
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-...
分类：
系统相关 时间：
2015-03-06 15:26:38
阅读次数：
232
本文展示如何在Windows的环境下通过Eclipse构建Hbase的客户端开发
构建Hbase集群，请参考：Centos
下Hbase0.98.10-hadoop2 集群的配置在Eclipse中创建Maven的工程将集群的hbase-site.xml文件放到工程的classes目录下
配置操作系统的C:\windows\system32\drivers\etc文件，将Hbas...
分类：
编程语言 时间：
2015-03-02 11:22:48
阅读次数：
233
（一）备份namenode的元数据
namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。
1、将元数据复制到远程站点
（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器
#!/bin/bash
export dirname=/mnt/tmphadoo...
分类：
其他好文 时间：
2015-03-01 22:23:11
阅读次数：
358
搭建好Hadoop集群环境或者单机环境，并运行，MapReduce进程要起来1. 假设已经配置了下列环境变量export JAVA_HOME=/usr/java/defaultexport PATH=$JAVA_HOME/bin:$PATHexport HADOOP_CLASSPATH=$JAVA_...
分类：
其他好文 时间：
2015-02-27 18:20:14
阅读次数：
121
开篇：在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。一、实验环境结构 本次试验，我们构建的集群是一个主节点，三个从节点的结构....
分类：
其他好文 时间：
2015-02-27 01:26:53
阅读次数：
306
