11、配置hadoop分布式环境！ 三台机器都需要这么配置1）、将/opt/modules/hadoop-2.2.0-src重命名 mv /opt/modules/hadoop-2.2.0-src/ /opt/modules/hadoop-2.2.0-src_x32_back2）、解压64位源码ta...
分类：
其他好文 时间：
2014-08-18 09:12:03
阅读次数：
275
Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门，下载的源码，写了HelloWorld，简要分析了其编程要点，然后也编了个较复杂的示例。接下来其实就有两条路可走了，一条是继续深入研究其编程及部署等，让其功能使用的淋漓尽致。二是停下来，先看看其源码，研究下如何实现的。在这里....
分类：
其他好文 时间：
2014-08-18 08:01:43
阅读次数：
219
系统正在运行，如何添加一个从节点： 步骤一： 配置好要新节点的的环境 步骤二： 在主节点的配置文件slaves文件中添加一行新节点的ip 步骤三： 然后在新节点中分别执行以下命令，启动进程： hadoop-daemon.sh start datanode hadoop-daemon.sh start...
分类：
其他好文 时间：
2014-08-18 01:32:13
阅读次数：
254
hadoop的分布式安装过程 分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker 我的配置：用户名/密码均为：root/huanghe ...
分类：
其他好文 时间：
2014-08-18 01:31:33
阅读次数：
233
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
1、为什么需要Hadoop
目前，一块硬盘容量约为1TB，读取速度约为100M/S，因此完成一块硬盘的读取需时约2.5小时（写入时间更长）。若把数据放在同一硬盘上，且全部数据均需要同一个程序进行处理，此程序的处理时间将主要浪费在I/O时间上。
在过去几十年，硬盘的读取速度并未明显增长，而网络传输速度此飞速上升。
因此，若把数据分散到多个硬盘上进行存储（如分成100份存...
分类：
其他好文 时间：
2014-08-17 19:59:32
阅读次数：
394
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
我的测试环境是三台机器分别是Hadoop-Yarn.Hark.Com 192.168.1.200Hadoop-Slave1.Hark.Com 192.168.1.201Hadoop.Slave2.Hark.Com 192.168.1.202我为了自己能充分练习hadoop 64位源码编译，所以三台机...
分类：
其他好文 时间：
2014-08-17 15:29:52
阅读次数：
236
Hostname
IP
Hadoop版本
Hadoop
功能
系统
hadoop2
192.168.119.131
2.2.0
namenode
jdk1.6+hadoop
centos5.9
h2slave1
192.168.119...
分类：
其他好文 时间：
2014-08-17 14:21:32
阅读次数：
257
Hbase的安装需要考虑Hadoop的版本，即兼容性。有不足的希望能指出。以下考究官网得到的，关于hadoop版本和hbase版本可到以下网址中下载：http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96.xHB...
分类：
其他好文 时间：
2014-08-17 14:13:02
阅读次数：
150
