（一）hadoop 相关安装部署1、hadoop在windows cygwin下的部署：http://lib.open-open.com/view/1333428291655http://blog.csdn.net/ruby97/article/details/7423088http://blog....
分类：
数据库 时间：
2014-07-22 22:50:55
阅读次数：
517
NameNode 192.168.1.122 ?hadoop/hadoop VM ?192.168.1.123? DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所有机器上安装o...
分类：
其他好文 时间：
2014-07-22 09:10:37
阅读次数：
199
压缩优化
由于hadoop的很多结果都是由mr触发，mr中间伴随着很多硬盘IO。
所以这里需要启用压缩算法，减少IO数据量，减少IO时间。
症状表现：运行时看到
2014-07-14 18:13:09,386 WARN util.NativeCodeLoader - ...
分类：
其他好文 时间：
2014-07-22 09:03:05
阅读次数：
199
想了解hadoop，所以就下了最新的文件，搭建相关的环境，以下为自己在win7上搭建hadoop的相关步骤。 ? ? ? ? 1、下载hadoop，用winRAR解压。（路径不能有空格） ? ? ? ? 2、安装java，此处就不做讲解了。...
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
Hadoop 1.x版本不支持FileSystem的append操作，而需要升级到Hadoop 2.x,否则会报异常：org.apache.hadoop.ipc.RemoteException: java.io.IOException: Append is not supported. Please...
分类：
移动开发 时间：
2014-07-21 09:13:27
阅读次数：
1094
Hadoop2.2.0版本HDFS的HA配置注：以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群，机器IP分别是：10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类：
其他好文 时间：
2014-07-20 15:22:31
阅读次数：
363
声明：个人原创，转载请注明出处。文中引用了一些网上或书里的资料，如有不妥之处请告之。本文是我阅读Hadoop 0.20.2第二遍时写的笔记，在阅读过程中碰到很多问题，最终通过各种途径解决了大部分。Hadoop整个系统设计精良，源码值得学习分布式的同学们阅读，以后会将所有笔记一一贴出，希望能方便大家阅...
分类：
其他好文 时间：
2014-07-20 00:37:27
阅读次数：
309
1）Hadoop学习总结 （1）HDFS简介 （2）HDFS读写过程解析 （3）Map-Reduce入门 （4）Map-Reduce的过程解析 （5）Hadoop的运行痕迹 （6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析 （1）Hadoop-0.20.0...
分类：
其他好文 时间：
2014-07-19 23:14:35
阅读次数：
208
