通过启动或停止hadoop我们会发现会出现 “Warning:$HADOOP_HOMEisdeprecated” 这样一个警告，下面给出解决方案：不过我们一般推荐第二种，因为我们还是需要$HADOOP_HOME的，方便引用。所以我们一般在/etc/profile文件最后加上exportHADOOP_...
分类：
其他好文 时间：
2015-05-29 00:40:39
阅读次数：
122
首先我们先回顾一下Hadoop的一些概念： Apache Hdoop 1.x 组成 NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储) TaskTrac...
分类：
其他好文 时间：
2015-05-28 22:56:15
阅读次数：
230
日志格式：日志名称解析：Hadoop启停的三种方式：、停止后面的以此类推......另外hadoop-daemons.sh表示启动多个，比如datanode跟tasktracker在真实环境都会有多个附：
分类：
其他好文 时间：
2015-05-27 22:34:29
阅读次数：
163
Hadoop1.2.1 单机模式安装Hadoop组件依赖图(从下往上看)安装步骤：详细步骤： 设置ssh自动登录(如下图)： 1、输入命令【ssh-keygen-trsa】，然后一直按回车就可以了 2、然后切换目录到~.ssh目录下执行命令【cpid_rsa.pubauthorized_key...
分类：
其他好文 时间：
2015-05-24 23:08:28
阅读次数：
325
我们知道hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、namenode的单点故障的问题。针对这两个问题，hadoop2.x都对它进行改进和解决。其中，问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决。对于问题2中的.....
分类：
其他好文 时间：
2015-05-18 20:35:39
阅读次数：
119
大数据定义是：大量的非结构话的数据。量要大，要非结构化。Hadoop分三部分组成，1.hdfshadoop分布式文件系统。2.MapReduce分布式计算。3.hive分布式存储。操作系统：centos6.564环境搭建：1.安装Hadoop，2.安装mysql，3.安装hive，4，安装jdkHadoop安装：下载Hadoop1.0.4，had..
分类：
其他好文 时间：
2015-05-17 23:48:02
阅读次数：
521
首先安装JDK：然后安装hadoop：最后的实例测试：首先在 /opt/data 目录下创建 input目录，然后把hadoop的conf目录下的所有xml文件拷贝到上面的input目录，然后运行下面图片的第三行命令(注意此条命令我是在hadoop目录下运行的)，最后查看output目录下的文件，检...
分类：
其他好文 时间：
2015-05-17 00:45:16
阅读次数：
185
转 mapreduce中wordcount详细介绍（包括hadoop1和hadoop2版本）发表于1年前(2014-04-24 10:08) 阅读（1458）|评论（0） 1人收藏此文章, 我要收藏 赞05月23日 西安 OSC 源创会开始报名啦，存储、虚拟机、Docker 等干货分享摘要 mapr...
分类：
移动开发 时间：
2015-05-14 13:53:12
阅读次数：
259
一、所需要用到的资源hadoop1.2.1：http://download.csdn.net/detail/caihongshijie6/8692365jdk：http://pan.baidu.com/s/1c0m4SSC二、步骤本文的环境是VMWare+ubuntu12.041、修改root用户的密码sudo passwd root此后然后提示完成密码的设置2、先把在windows下下载好的ha...
分类：
其他好文 时间：
2015-05-12 21:07:00
阅读次数：
185
1、下载hadoop，解压 ?这个可以到http://hadoop.apache.org/里面找到 2、配置.bashrc文件 3、创建hadoop数据保存 ?我创建在了hadoop文件里，名字叫做data 4、配置hadoop-env.sh文件 5、配置mapred-site.xml文件...
分类：
系统相关 时间：
2015-05-09 13:35:01
阅读次数：
147
