1. 用idea的maven项目 package 打包, 去 Linux 执行 spark-submit --class com.Spark_HDFS --master local ./SXC-1.0-SNAPSHOT.jar 遇到 找不到主类 , 这时候需要更加稳定的打包方式 去打包 scala ...
分类：
其他好文 时间：
2020-06-14 12:57:57
阅读次数：
127
package com.atguigu.java; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; impor ...
分类：
编程语言 时间：
2020-06-13 22:59:16
阅读次数：
76
一、HA概述 HA（High Available）即高可用（7*24小时不中断服务），实现高可用最关键的策略就是消除单点故障。HA严格地来说应该分成各个组件的HA机制，HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode ...
分类：
其他好文 时间：
2020-06-10 10:58:31
阅读次数：
72
1、KDC 添加用户 ，输入密码 HTTP@HADOOP.COM 2、客户机（linux），kerberos客户端安装 3、客户机（linux），kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类：
其他好文 时间：
2020-06-08 12:55:03
阅读次数：
154
简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput
分类：
其他好文 时间：
2020-06-06 23:16:21
阅读次数：
84
原因 hadoop.dll 版本问题 解决 查询远程主机中hadoop版本，下载相同或稍高版本的hadoop.dll，将下载的 hadoop.dll 复制到windows系统的c:/window/system32/下 参考 https://blog.csdn.net/Constantdropping ...
分类：
编程语言 时间：
2020-06-06 09:25:40
阅读次数：
69
此博客为博主学习总结，学习内容： 在分布式文件系统中创建文件并用 shell 指令查看； 利用 Java API 编程实现判断文件是否存在以及合并两个文件的内容成一个文件 本次博客记录自己操作的详细步骤 感谢厦门大学数据库实验室的实验教程[http://dblab.xmu.edu.cn/blog/2 ...
分类：
其他好文 时间：
2020-06-06 01:01:04
阅读次数：
97
1、修改配置文件后重启hdfs集群，出现了两个namenode都是standby的问题。 经过不断地排查，发现在自己进行关闭和重启namenode的组件的时候，没有通过pip文件正常关闭，只能挨个关闭，这个也不是重点。 经过修改pip文件的路径，解决了这个批量关闭启动的问题，原因是/tmpe目录系统 ...
分类：
数据库 时间：
2020-06-05 13:12:31
阅读次数：
111
Hadoop fs 命令分类： 1、本地-》HDFS： put(从本地文件系统中复制单个或多个源路径到目标文件系统) hadoop fs -put localfile /user/hadoop/hadoopfile copyFromLocal(和put命令相似) hadoop fs -copyFro ...
分类：
系统相关 时间：
2020-06-02 22:55:20
阅读次数：
78
一、HDFS优缺点 优点： 高容错性 数据自动保存多个副本 某一个副本丢失后，它可以自动恢复 适合处理大数据 数据规模，可以达到PB级 文件规模，能够处理百万规模的文件数量 可构建在廉价机器上，通过多副本保证可靠性 缺点： 不适合低延时数据访问 不适合对大量小文件进行存储 存储大量小文件，他会占用N ...
分类：
其他好文 时间：
2020-06-01 23:45:55
阅读次数：
68
