1. 用idea的maven项目 package 打包, 去 Linux 执行 spark-submit --class com.Spark_HDFS --master local ./SXC-1.0-SNAPSHOT.jar 遇到 找不到主类 , 这时候需要更加稳定的打包方式 去打包 scala ...
分类:
其他好文 时间:
2020-06-14 12:57:57
阅读次数:
127
package com.atguigu.java; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; impor ...
分类:
编程语言 时间:
2020-06-13 22:59:16
阅读次数:
76
一、HA概述 HA(High Available)即高可用(7*24小时不中断服务),实现高可用最关键的策略就是消除单点故障。HA严格地来说应该分成各个组件的HA机制,HDFS的HA和YARN的HA。 Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。NameNode ...
分类:
其他好文 时间:
2020-06-10 10:58:31
阅读次数:
72
1、KDC 添加用户 ,输入密码 HTTP@HADOOP.COM 2、客户机(linux),kerberos客户端安装 3、客户机(linux),kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类:
其他好文 时间:
2020-06-08 12:55:03
阅读次数:
154
简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput
分类:
其他好文 时间:
2020-06-06 23:16:21
阅读次数:
84
原因 hadoop.dll 版本问题 解决 查询远程主机中hadoop版本,下载相同或稍高版本的hadoop.dll,将下载的 hadoop.dll 复制到windows系统的c:/window/system32/下 参考 https://blog.csdn.net/Constantdropping ...
分类:
编程语言 时间:
2020-06-06 09:25:40
阅读次数:
69
此博客为博主学习总结,学习内容: 在分布式文件系统中创建文件并用 shell 指令查看; 利用 Java API 编程实现判断文件是否存在以及合并两个文件的内容成一个文件 本次博客记录自己操作的详细步骤 感谢厦门大学数据库实验室的实验教程[http://dblab.xmu.edu.cn/blog/2 ...
分类:
其他好文 时间:
2020-06-06 01:01:04
阅读次数:
97
1、修改配置文件后重启hdfs集群,出现了两个namenode都是standby的问题。 经过不断地排查,发现在自己进行关闭和重启namenode的组件的时候,没有通过pip文件正常关闭,只能挨个关闭,这个也不是重点。 经过修改pip文件的路径,解决了这个批量关闭启动的问题,原因是/tmpe目录系统 ...
分类:
数据库 时间:
2020-06-05 13:12:31
阅读次数:
111
Hadoop fs 命令分类: 1、本地-》HDFS: put(从本地文件系统中复制单个或多个源路径到目标文件系统) hadoop fs -put localfile /user/hadoop/hadoopfile copyFromLocal(和put命令相似) hadoop fs -copyFro ...
分类:
系统相关 时间:
2020-06-02 22:55:20
阅读次数:
78
一、HDFS优缺点 优点: 高容错性 数据自动保存多个副本 某一个副本丢失后,它可以自动恢复 适合处理大数据 数据规模,可以达到PB级 文件规模,能够处理百万规模的文件数量 可构建在廉价机器上,通过多副本保证可靠性 缺点: 不适合低延时数据访问 不适合对大量小文件进行存储 存储大量小文件,他会占用N ...
分类:
其他好文 时间:
2020-06-01 23:45:55
阅读次数:
68