1.纵向扩容（添加硬盘） 1.1 添加硬盘 确定完成添加，运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 centerOS7的默认文件系统是xfs，centerOS6默认的文件系统是ext4 1.3 挂载 mount 分的区 被挂载的文件夹 注：umount /dev/sdb1 /sdb1 取 ...
分类：
其他好文 时间：
2020-02-26 19:03:30
阅读次数：
85
1.给虚拟机增加新的硬盘 点击完成后，重启虚拟机！ 2.硬盘分区 输入命令：lsblk，查看当前硬盘使用情况，我们可以看到刚才增加的硬盘 ①输入命令进行分区： fdisk /dev/sdb m可以查看帮助 m:获取帮助 n：分区 p：查看分区表 w：将分区信息写入硬盘 ②输入n开始分区 输入命令ls ...
分类：
其他好文 时间：
2020-02-26 15:25:42
阅读次数：
109
java.io.IOException: All specified directories have failed to load. at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataSt ...
分类：
编程语言 时间：
2020-02-26 01:13:41
阅读次数：
90
在每个maptask的结束，我们拿到的是<K,V>的队列，在Reduce中，输入的是<K,Iterable V>。在中间有一个被称为Shuffle的工作，将Maptask的数据按Key排序。其主要的工作，大体上讲1.完整地从map task端拉取数据到reduce端。2.在跨节点拉取数据时，尽可能地 ...
分类：
其他好文 时间：
2020-02-26 01:11:33
阅读次数：
80
1.MySQL版本： mysql> select @@version;+ +| @@version |+ +| 8.0.18 |+ +1 row in set (0.00 sec) 2.Centos操作系统版本 [root@Hadoop-00 /]# cat /etc/redhat-releaseC ...
分类：
数据库 时间：
2020-02-25 23:12:06
阅读次数：
97
一.Redis简介 NoSQL介绍：用于解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 NoSQL数据库的四大分类： 键值存储数据库：Redis,Oracle BDB,Voldemort 列存储数据库：HBase 文档型数据库：MongoDb 图形数据库：Neo4J NoSQL数据 ...
分类：
其他好文 时间：
2020-02-25 22:59:30
阅读次数：
69
1.克隆一台虚拟机作为分布式系统的节点 2.更改克隆机的网络配置 cd /etc/sysconfig/network-scripts vi ifcfg-ens33 修改完毕后退出，重启网络： systemctl restart network 3.添加主机映射 先修改主机名：vi /etc/host ...
分类：
其他好文 时间：
2020-02-25 20:23:00
阅读次数：
53
1.准备两台虚拟机，配置hosts文件 vim /etc/hosts 加入两台虚拟机的ip 和主机名(两台分别都要配置) 2.配置ssh免密通信 ssh-keygen ssh-copy-id 主机名 ssh 主机名（测试是否免密成功 3.配置hdfs-site.xfs文件 <configuratio ...
分类：
其他好文 时间：
2020-02-25 19:52:10
阅读次数：
51
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
一：MapReduce框架 （结合YARN框架） 补充：MapReduce框架知道我们写的map-reduce程序的运行逻辑。我们写的map-reduce中并没有管理层的任务运行分配逻辑，该逻辑被封装在MapReduce框架里面，被封装为MRAppMaster类，该类用于管理整个map-reduce ...
分类：
其他好文 时间：
2020-02-24 18:50:55
阅读次数：
71
