Hadoop 数据是存储在HDFS， Mapreduce 是一种计算框架，负责计算处理。HDFS上的数据存储默认是本地节点数据一份，同一机架不同节点一份，不同机架不同节点一份。默认是存储3份HDFS 存储元数据信息和存储位置信息，metadata。他们之间是通过文件名进行关联的。DataNode 节...
分类：
其他好文 时间：
2015-12-13 02:08:53
阅读次数：
116
AttachingtoprocessID2785,pleasewait...Debuggerattachedsuccessfully.Servercompilerdetected.JVMversionis24.80-b11usingparallelthreadsinthenewgeneration.usingthread-localobjectallocation.ConcurrentMark-SweepGCHeapConfiguration:MinHeapFreeRatio=40MaxHeapFreeRat..
分类：
其他好文 时间：
2015-12-08 16:19:12
阅读次数：
133
hdfs dfs -put 从本地上传到hdfs上出现异常 与namenode 同台机器的datanode错误日志信息如下： 2015-12-0309:54:03,083WARNorg.apache.hadoop.hdfs.server.datanode.DataNode:SlowBlo...
分类：
Web程序 时间：
2015-12-04 00:42:16
阅读次数：
582
续上篇整理一下hdfs相关的配置项namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的...
分类：
其他好文 时间：
2015-12-03 22:48:46
阅读次数：
212
最近发现hdfs的一个问题，每当集群开启的时候，有一个节点上的可用空间就一直在减少，并且速度很快，发现是data目录下的dncp_block_verification.log.curr文件在一直变大，查了日志没有发现什么可疑的原因，只在datanode的日志上发现有几条日志如下非常可疑：2015.....
分类：
其他好文 时间：
2015-11-29 16:32:55
阅读次数：
383
hadoop部署完成后datanode无法启动问题解决1.检查是否有遗留的hadoop进程还在运行，如果有的话，先stop-all.sh或kill杀掉；2.在master节点上，删除/tmp/hadoop-XXX/下的所有文件；3.在slave节点上，删除/tmp/hadoop-XXX/下的所有文件...
分类：
其他好文 时间：
2015-11-27 16:49:04
阅读次数：
122
Hadoop的结构组成安装Hadoop及其3种工作模式：单机、伪分布和全分布用于监控Hadoop安装的Web工具1、Hadoop的构造模块（1）NameNode（名字节点）Hadoop在分布式计算和分布式存储中都采用了主/从结构。NameNode位于HDFS的主端，它指导从端的DataNode执行底...
分类：
其他好文 时间：
2015-11-23 19:02:37
阅读次数：
123
引言前提和设计目标硬件错误流式数据访问大规模数据集简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性Namenode 和 Datanode文件系统的名字空间 (namespace)数据复制副本存放: 最最开始的一步副本选择安全模式文件系统元数据的持久化通讯协议健壮性磁盘数据错误，...
分类：
其他好文 时间：
2015-11-18 14:28:45
阅读次数：
216
第130讲：Hadoop集群管理工具DataBlockScanner实战详解学习笔记DataBlockScanner在datanode上运行的block扫描器，定期检测当前datanode节点上所有的block，从而在客户端读到有问题的块前及时检测和修复有问题的块。它有所有维护的块的列表，通过对块的...
分类：
其他好文 时间：
2015-11-15 17:50:38
阅读次数：
175
第126讲：Hadoop集群管理之Datanode目录元数据结构详解学习笔记namenode是管理hdfs文件系统的元数据datanode是负责当前节点上的数据的管理，具体目录内容是在初始阶段自动创建的。在用hdfsdfsnamenodeformat时并没有对datanode进行format。在da...
分类：
其他好文 时间：
2015-11-14 22:00:30
阅读次数：
391
