码迷,mamicode.com
首页 >  
搜索关键字:jamp datanode    ( 860个结果
Hadoop
1. HDFS架构是怎样的? hadoop1.x中采用master/slave架构,hdfs集群有一个namenode和多个datanode组成。 namenode namenode负责原数据的管理,包括文件目录和文件的元数据管理。 namenode文件到block块位置的映射,namenode并不 ...
分类:其他好文   时间:2019-10-27 18:39:03    阅读次数:100
yarn 图形化监控
Yarn http://192.168.56.2:8088/ http://192.168.56.2:9870 summary Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820 Secondary NN ports: 5009 ...
分类:其他好文   时间:2019-10-27 12:29:40    阅读次数:101
查看运行某类时当前的进程状态
在编译器中编写如下代码并运行程序: jps命令:查看当前系统运行的java进程号 jamp命令:输出JVM堆上对象的信息 jmap -histo:live pid > log.txt:查看当前活的进程状态,并导入到log.txt文件中 start .:打开该文件 log.txt:查看电脑当前的进程 ...
分类:系统相关   时间:2019-10-17 12:04:32    阅读次数:119
二、hdfs体系架构
[TOC]一、HDFS体系组成概述这是一个分布式文件系统,适用于于一次写入多次读取的场景。包含以下角色:NameNode(nn):存储文件的元数据,如文件名、文件目录结构,文件属性等,以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn):在本地文件系统中存储文件块数据,以及块数据的校验和Second
分类:其他好文   时间:2019-10-14 13:04:16    阅读次数:120
Hadoop重新格式namenode后无法启动datanode的问题
这个很简单的哇~ 格式化namenode之后就会给namenode的ClusterId重新生成,导致与datanode中的ClusterId不一致而无法启动datanode 解决方法: 进入hadoop/dfs/data/current 找到version文件 进入hadoop/dfs/name/c ...
分类:其他好文   时间:2019-10-05 18:38:36    阅读次数:75
HDFS数据定期清理
HDFS数据清理一些办法: datanode数据做reblance清理临时目录、日志目录文件全量分区表历史分区清理使用lzo,orc格式进行数据压缩清理或者归档历史冷数据增加datanode横向扩容附上自动清理目录下过期的文件 #!/bin/bashsource ~/.bash_profile # ...
分类:其他好文   时间:2019-09-30 09:32:15    阅读次数:231
Windows 下部署 hadoop spark环境
一、先在本地安装jdk 我这里安装的jdk1.8,具体的安装过程这里不作赘述 二、部署安装maven 下载maven安装包,并解压 设置环境变量,MAVEN_HOME=D:\SoftWare\Maven\apache-maven-3.6.1 在path路径添加;%MAVEN_HOME%\bin 打开 ...
分类:Windows程序   时间:2019-09-26 11:31:10    阅读次数:139
HDFS
海量数据处理 分而治之 核心思想: 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序,次之随机读 一、HDFS概述 修改,先删除,再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据,以及每个文件块的列表,以及块所在datanode的信息。nameno ...
分类:其他好文   时间:2019-09-22 16:41:19    阅读次数:92
mycat的分
1、什么是分库分表? 在同一个系统(项目)中,把一张数据比较多的表放到不同的集群节点上, 这种模式称之为分库分表。 2、需求 使用mycat实现分库分表(HDFS:namenode datanode secondarynamdenode) 在整个mycat中也会使用到namenode和datanod ...
分类:其他好文   时间:2019-09-22 01:42:23    阅读次数:81
关于hadoop多次format之后,会出现的dataNode消失问题
如标题,最近我由于想初始化以下hadoop集群,之后却发现启动集群后所有的DataNode都消失了。 问题查找: 由于时所有的DataNode都出了问题,于是我翻找了以下DataNode的日志(默认在安装下的logs文件里): 看出来可能是因为namenode的clusterID与datanode的 ...
分类:其他好文   时间:2019-09-21 23:17:49    阅读次数:106
860条   上一页 1 ... 7 8 9 10 11 ... 86 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!