1、准备三台机器，master、slave01、slave02 1.1 最小化安装centos6.5 1.2 安装ssh，yum -y install openssh-clients 1.3 三台机器上创建hadoop用户组及hadoop用户 groupadd hadoop 添加一个组 userad
分类：
其他好文 时间：
2016-03-07 19:18:32
阅读次数：
137
集成hive 的前提是apache hadoop 集群能够正常启动。 hadoop 版本 apach2.6.0 hive 版本：1.2.1 1、安装mysql 并赋予权限： 1.1：创建hive 用户和密码： Create user ‘hive’ identified by ‘123456’ 1.2
分类：
数据库 时间：
2016-03-07 16:39:52
阅读次数：
261
配置mapreduce <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the
分类：
其他好文 时间：
2016-03-06 20:34:48
阅读次数：
187
代码測试环境：Hadoop2.4+Mahout1.0前面博客：mahout贝叶斯算法开发思路（拓展篇）1和mahout贝叶斯算法开发思路（拓展篇）2 分析了Mahout中贝叶斯算法针对数值型数据的处理。在前面这两篇博客中并没有关于怎样分类不带标签的原始数据的处理。以下这篇博客就针对这种数据进行处理。
分类：
编程语言 时间：
2016-03-05 20:13:09
阅读次数：
298
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： 1.HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性； 2.MapReduce将J
分类：
其他好文 时间：
2016-03-03 01:30:59
阅读次数：
125
1.配置集群机器之间ssh免密码登录 (1) ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将id_dsa.pub 公钥 加入授权的key中去 这条命令的功能是把公钥加到用于认证的公钥文件中，这里的authorized_keys 是用于认证的公钥文件 (2) ca
分类：
其他好文 时间：
2016-03-02 09:30:36
阅读次数：
134
Hadoop2.6运行wordcount1、启动hadoop[hadoop@masterhadoop-2.6.0]$./sbin/start-all.sh[hadoop@masterhadoop-2.6.0]$jps21444ResourceManager21301SecondaryNameNode22072Jps21117NameNode[hadoop@slave1current]$jps5505NodeManager5397DataNode6102Jps2、在hadoop的目录下创..
分类：
其他好文 时间：
2016-02-29 00:52:29
阅读次数：
227
Hadoop2.6DataNode服务未启动1、Hadoop2.6安装完成之后，在DataNode上jps发现没有NataNode服务，很奇怪查看日志，之后发现原因是hadoop安装好之后，格式化多次，VERSION版本不同，造成的clusterid主从节点不一样[hadoop@masterhadoop-2.6.0]$cat/usr/local/hadoop-2.6.0/logs/h..
分类：
其他好文 时间：
2016-02-28 17:01:08
阅读次数：
249
一些准备工作就不说了，包括设置ssh连接等，主要说一下配置文件内容及启动过程，以192.168.157.100~105几台服务器为例： 1、core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs:
分类：
其他好文 时间：
2016-02-25 11:51:51
阅读次数：
190
一、简介 为了开发调试方便，本文介绍在Eclipse下搭建开发环境，连接和提交任务到Hadoop集群。 二、安装前准备： 1）Eclipse：Luna 4.4.1 2）eclipse插件：hadoop-eclipse-plugin-2.6.0.jar 3）hadoop版本：hadoop-2.6.0.
分类：
系统相关 时间：
2016-02-24 15:43:21
阅读次数：
374
