Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
hdfs只是其中一种。适用于一次写入、多次查询的情况，不支持并发写情况，小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数...
分类：
其他好文 时间：
2015-06-27 16:31:09
阅读次数：
100
baidu了很多，都说防火墙，datanode没有正常启动的问题，可是检查了都是正常，后来还是在老外的网站上找到了解决的方法修改了/etc/security/limits.conf文件，上传成功这些hadoop的报错都是莫名其妙，从这个日志无法看出是这个的问题，看来还是要自己慢慢积累* soft n...
分类：
Web程序 时间：
2015-06-25 06:44:51
阅读次数：
358
搞定ClientProtocol，接下来是DatanodeProtocol部分。接口如下：
publicDatanodeRegistration register(DatanodeRegistration nodeReg
) throwsIOException
用于DataNode向Nam...
分类：
其他好文 时间：
2015-06-24 12:56:23
阅读次数：
136
一般来说Livenodes是0
的情况是由于namenode和datanode中的clusterID号不同，诱因是因为重复格式化。如果不需要保存数据，直接重做的话，需要下面这些步骤。sshhd1rm/home/hadoop/namenode/*-rfsshhd1rm/home/hadoop/hdfs/*-rfsshhd2rm/home/hadoop/hdfs/*-rfsshhd3rm/home/had..
分类：
其他好文 时间：
2015-06-23 18:20:50
阅读次数：
157
最近重新捡起了Hadoop，所以博客重新开张～首先描述一下我的问题：这次我使用eclipse在Ubuntu上运行hadoop程序。首先，按照厦门大学数据库实验室的eclipse下运行hadoop程序的教程配置好了eclipse，然后在命令行启动Hadoop。在eclipse界面中，有input文件夹...
分类：
系统相关 时间：
2015-06-22 11:01:31
阅读次数：
481
HDFS集群中以Master-Slave模式运行，主要有两类节点：一个Namenode节点(即master)和多个Datanode节点。Namenode管理文件系统的Namespace.他维护着文件系统树以及文件树中所有的文件和文件夹的元数据。hdfs架构图：Namenode:Namenode管理文件系统的Namespace。它维护着文件系统..
分类：
其他好文 时间：
2015-06-17 02:07:14
阅读次数：
261
HDFS数据管理1、设置元数据与数据的存储路径，通过
dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、
hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等属性来设置；2、经常执行HDFS文件系统检查工...
分类：
其他好文 时间：
2015-06-16 23:03:33
阅读次数：
329
（一）jps 显示java进程，即使用java命令启动的进程
常用用法
1、jps：显示进程id与进程名称
2、jps -l：显示主类的全名，如果进程执行的是jar包，则输出Jar路径
3、jps -v：输出JVM参数
hadoop@gdc-dn06-formal:~$ jps -lv | grep -i datanode
48150 org.apache.hadoop.hdf...
分类：
其他好文 时间：
2015-06-16 19:23:14
阅读次数：
188
