目的这份文档描写叙述了怎样安装、配置和管理从几个节点到有数千个节点的Hadoop集群。玩的话，你可能想先在单机上安装。(看单节点配置)。准备从Apache镜像上下载一个Hadoop的稳定版本号。安装安装一个Hadoop集群，一般包含分发软件到全部集群中的机器上或者是安装RPMs。一般地，集群中的一台...
分类：
其他好文 时间：
2014-06-19 00:19:50
阅读次数：
372
1、检查空间是否够用（我的就是这个原因） df -hl 查看，如果可用的很少，那就是了。2、datanode是否正常启动 访问：50070，查看datanode的个数，如果不对应，重新启动3、是否在safemode下 hadoop dfsadmin -safemode get,查看，leave...
分类：
其他好文 时间：
2014-06-19 00:14:41
阅读次数：
306
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
第一步：启动Zend Studio，点击主窗口菜单 Help--> Install New Software... 菜单项，进入插件安装界面……第二步：在Work with后的文本框中输入http://download.eclipse.org/technology/babel/update-site...
分类：
其他好文 时间：
2014-06-18 23:20:10
阅读次数：
232
Mapreduce 模式中的 Pig对于 MapReduce 模式，必须首先确保 Hadoop 正在运行。要做到这一点，最简单的方法是在 Hadoop 文件系统树的根上执行文件列表操作，如 清单 3 所示。清单 3. 测试 Hadoop 可用性$ hadoop dfs -ls /Found 3 it...
分类：
其他好文 时间：
2014-06-18 22:46:01
阅读次数：
490
測试版本号：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到例如以下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类：
其他好文 时间：
2014-06-17 00:51:07
阅读次数：
1853
在线安装 地址变了下面的：http://download.eclipse.org/technology/m2e/releasesEclipse Indigo安装Maven插件Maven Integration for Eclipse时会报此异常。测试于：eclipse-jee-indigo-SR2-...
分类：
系统相关 时间：
2014-06-16 23:55:38
阅读次数：
421
本打算使用mapr的虚拟机在里面进行开发,使用eclipse进行调试,它的问题是,有时候服务不能完全起来,如jobtracker和tasktracker,cldb没有起来,重启服务有可能解决.但另外一个问题是我使用eclipse和0.20.2的插件,无法连接DFS location,无法调试hado...
分类：
其他好文 时间：
2014-06-16 23:40:12
阅读次数：
320
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
