NameNode 192.168.1.122 ?hadoop/hadoop VM ?192.168.1.123? DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所有机器上安装o...
分类：
其他好文 时间：
2014-07-22 09:10:37
阅读次数：
199
想了解hadoop，所以就下了最新的文件，搭建相关的环境，以下为自己在win7上搭建hadoop的相关步骤。 ? ? ? ? 1、下载hadoop，用winRAR解压。（路径不能有空格） ? ? ? ? 2、安装java，此处就不做讲解了。...
第一步：打开/etc 下面的 profile文件，在其中加入环境变量设置的代码doneJAVA_HOME=/home/hadoop/installer/jdk7u65PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HO...
分类：
其他好文 时间：
2014-07-22 08:04:37
阅读次数：
220
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
Mahout In Aciotn? ? ??? ??????作者：Jack Zhang ?来自开拓者部落 ，qq群：248087140，欢迎加入我们！ ????? ??????本文欢迎转载，转载请注明出处?http://my.oschina.net/u/1866370/blo...
分类：
其他好文 时间：
2014-07-21 10:18:06
阅读次数：
254
Hadoop 1.x版本不支持FileSystem的append操作，而需要升级到Hadoop 2.x,否则会报异常：org.apache.hadoop.ipc.RemoteException: java.io.IOException: Append is not supported. Please...
分类：
移动开发 时间：
2014-07-21 09:13:27
阅读次数：
1094
1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。...
分类：
其他好文 时间：
2014-07-21 09:03:08
阅读次数：
329
代码测试环境：Hadoop2.4+Mahout1.0前面博客：mahout贝叶斯算法开发思路（拓展篇）1和mahout贝叶斯算法开发思路（拓展篇）2 分析了Mahout中贝叶斯算法针对数值型数据的处理。在前面这两篇博客中并没有关于如何分类不带标签的原始数据的处理。下面这篇博客就针对这样的数据进行处理。最新版（适合Hadoop2.4+mahout1.0环境）源码以及jar包可以在这里下载：下载后参考...
分类：
其他好文 时间：
2014-07-20 23:19:06
阅读次数：
463
Hadoop2.2.0版本HDFS的HA配置注：以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群，机器IP分别是：10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类：
其他好文 时间：
2014-07-20 15:22:31
阅读次数：
363
