NameNode 192.168.1.122 ?hadoop/hadoop VM ?192.168.1.123? DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所有机器上安装o...
分类：
其他好文 时间：
2014-07-22 09:10:37
阅读次数：
199
压缩优化
由于hadoop的很多结果都是由mr触发，mr中间伴随着很多硬盘IO。
所以这里需要启用压缩算法，减少IO数据量，减少IO时间。
症状表现：运行时看到
2014-07-14 18:13:09,386 WARN util.NativeCodeLoader - ...
分类：
其他好文 时间：
2014-07-22 09:03:05
阅读次数：
199
想了解hadoop，所以就下了最新的文件，搭建相关的环境，以下为自己在win7上搭建hadoop的相关步骤。 ? ? ? ? 1、下载hadoop，用winRAR解压。（路径不能有空格） ? ? ? ? 2、安装java，此处就不做讲解了。...
# 环境 ubuntu server 14.04 1、安装 pip ? ? ? ? ? ?sudo apt-get install python-dev python-pip 2、安装 virtualenvwrapper，virtualenv ? ? ? ? ? ?sudo pip install virtualenvwrapper 3、配置 ...
分类：
编程语言 时间：
2014-07-21 10:28:20
阅读次数：
259
我开发的是应用，没有涉及到底层啊，烧板子啊之类的，之前我也从没有接触过PDA和VB.NET，一切现学现卖。OK，开卖。 **1、预备** 我的系统是WIN7，32位。 a)如果你有个PDA，再简单不过，插上电脑，自动搜索驱动，会...
分类：
Web程序 时间：
2014-07-21 10:27:35
阅读次数：
714
环境搭建参考百度经验（未验证）： ? 1.安卓项目中建好对应类，然后编译一下，在cmd窗口中cd到项目的bin\classes目录下，使用 javah –jni 全限类名 生成对应的头文件 2.在Eclipse中右键对应项目，Android Tool ...
分类：
移动开发 时间：
2014-07-21 10:23:55
阅读次数：
239
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
本文转自http://www.open-open.com/lib/view/open1386252535564.html由于版本更新的缘故，本文中的软件并不是最近版本，但是可以作为一个范例。大家下载的时候尽量下载最新的，做到与官方同步！由于众所周知的原因，不能访问Google，所以需要我们配置代理，...
分类：
移动开发 时间：
2014-07-20 21:28:42
阅读次数：
381
Hadoop2.2.0版本HDFS的HA配置注：以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群，机器IP分别是：10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类：
其他好文 时间：
2014-07-20 15:22:31
阅读次数：
363
