1. 开启 2. 通过浏览器访问node节点，http://IP:50070 检查 (如果无法访问，将防火墙关闭) 如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，（格式化会重新创建hadoop/tmp），再次启动 3. 操作分布式 ...
分类：
Web程序 时间：
2020-02-22 11:57:30
阅读次数：
81
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统，那么对HDFS的操作就是对文件系统的操作，比如文件的创建、修改、删除；文件夹的创建、修改、删除。Hadoop作者认为大家对linux文件系统的命令很熟悉，于是借鉴了linux文件系统的命令来作为HDFS的操作命令。 （1）查看帮助 ...
分类：
其他好文 时间：
2020-02-21 20:18:33
阅读次数：
125
学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
命令的基本格式： 在HDFS的文件系统中，HDFS只支持绝对路径 hadoop【程序】 fs【菜单】 -help【菜单下的一个子选项】查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹【只能看到第一层的东西】 2.-lsr 递归显示文件信息 hado ...
分类：
其他好文 时间：
2020-02-21 09:49:54
阅读次数：
124
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
背景最近在帮公司下线离线计算集群的机器，逐台decomiss，下到第四台机器时，cdh告警来了，丢失块大于集群的1%，算了一下集群有400多台，下线一台不应该告警，以为下线步骤有问题，点了中止下线，后来看了下其实步骤是没问题的，由于下线的机器配置比较好，所以确实这台机器上存储了集群1%以上的block，于是终止了datanode的decomission，但是集群还是出现了14个missingblo
分类：
其他好文 时间：
2020-02-20 10:27:00
阅读次数：
237
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
Sqoop 简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可 ...
分类：
Web程序 时间：
2020-02-18 12:47:15
阅读次数：
149
目录 前言 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 一、HDFS HDFS的设计理念 HDFS的缺点 1、NameNode 1.1、namenode的作用 1.2、元数据目录说明 1.3、NameNode启动 2、Secon ...
分类：
其他好文 时间：
2020-02-18 09:58:41
阅读次数：
100
