准备工作 先在win系统的hosts文件中加入下面内容 10.61.6.164master //hadoop集群的master节点 一、首先在eclipse上安装hadoop插件 下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugin ...
一 概述 NodeManager是执行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包含与ResourceManager保持通信，管理Container的生命周期、监控每一个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等。 ...
分类：
其他好文 时间：
2017-06-15 10:35:51
阅读次数：
272
简介： Apache HBase 是一个分布式的、面向列的开源 NoSQL 数据库。具有高性能、高可靠性、可伸缩、面向列、分布式存储的特性。 HBase 的数据文件最终落地在 HDFS 之上，所以在 Hadoop 集群中，DataNode 节点都需安装 HBase Worker Node。 另外，H ...
分类：
Web程序 时间：
2017-06-13 20:37:17
阅读次数：
281
腾讯大规模Hadoop集群实践转自：http://www.csdn.net/article/2014-02-19/2818473-Tencent-HadoopIDlishilong404740787TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用..
分类：
其他好文 时间：
2017-06-07 14:32:47
阅读次数：
246
1、安装须要的依赖包及软件 须要安装的依赖包有： gcc、c++、 autoconf、automake、libtool 须要安装的配套软件有： Java6、Maven 关于上面的依赖包，假设在ubuntu下，使用sudo apt-get install * 命令安装。假设在centos下。使用sud ...
分类：
移动开发 时间：
2017-06-07 14:25:53
阅读次数：
510
在windows 使用eclipse远程调用hadoop集群时抛出下面异常 这个问题 （1）你没有设置hadoop的环境变量，所以提示 null\bin\....... （2）你没有 winutils.exe winutils.exe的下载地址：https://github.com/srccodes ...
共享原因：虽然用一篇博文写问题感觉有点奢侈，但是搜索百度，相关文章太少了，苦苦探寻日志才找到解决方案。 遇到问题：在windows平台上开发的mapreduce程序，运行迟迟没有结果。 Mapreduce程序 运行结果 Master(NameNode)日志 java.io.IOException: ...
转载请在页首明显处注明作者与出处 一：说明 此为大数据系列的一些博文，有空的话会陆续更新，包含大数据的一些内容，如hadoop,spark,storm,机器学习等。 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列二：HDFS文件系统的命令及JAVA客户端API 二：wordcoun ...
分类：
其他好文 时间：
2017-06-03 12:51:54
阅读次数：
144
在HDInsight中的Hadoop介绍概览Azure的HDInsight是，部署和规定的Apache?Hadoop®集群在云中，提供用于管理，分析和大数据报告软件框架中的服务。大数据数据被描写叙述为“大数据”，以表明它被收集在以往升级卷，以越来越高的速度，并为一个扩大各种非结构化格式和可变语义语境 ...
分类：
其他好文 时间：
2017-06-02 09:45:18
阅读次数：
281
本篇介绍为了保证Hadoop集群平稳地执行。须要深入掌握的知识。以及一些管理监控的手段，日常维护的工作。 HDFS 永久性数据结构 对于管理员来说。深入了解namenode，辅助namecode和datanode等HDFS组件怎样在磁盘上组织永久性数据很重要。 洞悉各文件的使用方法有助于进行故障诊断 ...
分类：
其他好文 时间：
2017-05-30 17:53:51
阅读次数：
316
