Hadoop学习笔记(10) ——搭建源码学习环境 上一章中，我们对整个hadoop的目录及源码目录有了一个初步的了解，接下来计划深入学习一下这头神象作品了。但是看代码用什么，难不成gedit?，单步调试呢？ 看程序不能调那多痛苦啊，想看跟踪一下变量，想看一下执行路径都难。 所以这里，我们得把这个....
分类：
其他好文 时间：
2014-08-18 14:20:02
阅读次数：
162
摘要 Hadoop分布式文件系统（HDFS）设计用来可靠的存储超大数据集，同时以高速带宽将数据集传输给用户应用。 在一个超大集群中，数以千计的服务器直接接触存储器和执行用户应用任务。通过许多服务器的分布式存储和...
分类：
其他好文 时间：
2014-08-18 12:43:04
阅读次数：
356
HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文...
分类：
其他好文 时间：
2014-08-18 12:21:14
阅读次数：
228
Azure HDInsightAzure HDInsight is Microsoft's distribution of Hadoop. The Azure HDInsight ecosystem includes the following features/components: Pig, H...
分类：
其他好文 时间：
2014-08-18 10:30:23
阅读次数：
477
11、配置hadoop分布式环境！ 三台机器都需要这么配置1）、将/opt/modules/hadoop-2.2.0-src重命名 mv /opt/modules/hadoop-2.2.0-src/ /opt/modules/hadoop-2.2.0-src_x32_back2）、解压64位源码ta...
分类：
其他好文 时间：
2014-08-18 09:12:03
阅读次数：
275
Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门，下载的源码，写了HelloWorld，简要分析了其编程要点，然后也编了个较复杂的示例。接下来其实就有两条路可走了，一条是继续深入研究其编程及部署等，让其功能使用的淋漓尽致。二是停下来，先看看其源码，研究下如何实现的。在这里....
分类：
其他好文 时间：
2014-08-18 08:01:43
阅读次数：
219
系统正在运行，如何添加一个从节点： 步骤一： 配置好要新节点的的环境 步骤二： 在主节点的配置文件slaves文件中添加一行新节点的ip 步骤三： 然后在新节点中分别执行以下命令，启动进程： hadoop-daemon.sh start datanode hadoop-daemon.sh start...
分类：
其他好文 时间：
2014-08-18 01:32:13
阅读次数：
254
hadoop的分布式安装过程 分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker 我的配置：用户名/密码均为：root/huanghe ...
分类：
其他好文 时间：
2014-08-18 01:31:33
阅读次数：
233
重点介绍了二值化原理及数学实现，并利用emgucv方法编程实现。
分类：
其他好文 时间：
2014-08-17 23:58:23
阅读次数：
2482
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
