前期准备 （1）JAVA_HOME：因为Hadoop的配置文件中依赖 $JAVA_HOME。修改/etc/profile文件。 （2）hostname：修改主机名，方便管理。/etc/sysconfig/network。 （3）ip hostname：方便管理，hadoop默认是使用hostname ...
分类：
其他好文 时间：
2020-02-27 23:43:16
阅读次数：
120
1.准备Linux环境 1.0 点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到windo ...
分类：
其他好文 时间：
2020-02-27 19:16:47
阅读次数：
75
一：什么是ZooKeeper Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等 （一）原始架构 但是当服务器宕机，则应用全部瘫痪。无法做到高可用。应该使用集群实 ...
分类：
其他好文 时间：
2020-02-26 23:07:34
阅读次数：
87
一、什么是序列化与反序列化 序列化是把对象转换为字节序列的过程，使之持久化到磁盘和网络传输（write过程） 反序列化是把字节序列转换为对象的过程，使之成为内存中的对象（read过程） 二、为什么要进行序列化与反序列化 对象只能在内存中 对象只能在本地的进程中使用 通过序列化与反序列的操作： 永久保 ...
分类：
其他好文 时间：
2020-02-26 22:37:48
阅读次数：
71
1.纵向扩容（添加硬盘） 1.1 添加硬盘 确定完成添加，运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 centerOS7的默认文件系统是xfs，centerOS6默认的文件系统是ext4 1.3 挂载 mount 分的区 被挂载的文件夹 注：umount /dev/sdb1 /sdb1 取 ...
分类：
其他好文 时间：
2020-02-26 19:03:30
阅读次数：
85
1.给虚拟机增加新的硬盘 点击完成后，重启虚拟机！ 2.硬盘分区 输入命令：lsblk，查看当前硬盘使用情况，我们可以看到刚才增加的硬盘 ①输入命令进行分区： fdisk /dev/sdb m可以查看帮助 m:获取帮助 n：分区 p：查看分区表 w：将分区信息写入硬盘 ②输入n开始分区 输入命令ls ...
分类：
其他好文 时间：
2020-02-26 15:25:42
阅读次数：
109
java.io.IOException: All specified directories have failed to load. at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataSt ...
分类：
编程语言 时间：
2020-02-26 01:13:41
阅读次数：
90
在每个maptask的结束，我们拿到的是<K,V>的队列，在Reduce中，输入的是<K,Iterable V>。在中间有一个被称为Shuffle的工作，将Maptask的数据按Key排序。其主要的工作，大体上讲1.完整地从map task端拉取数据到reduce端。2.在跨节点拉取数据时，尽可能地 ...
分类：
其他好文 时间：
2020-02-26 01:11:33
阅读次数：
80
1.MySQL版本： mysql> select @@version;+ +| @@version |+ +| 8.0.18 |+ +1 row in set (0.00 sec) 2.Centos操作系统版本 [root@Hadoop-00 /]# cat /etc/redhat-releaseC ...
分类：
数据库 时间：
2020-02-25 23:12:06
阅读次数：
97
1.克隆一台虚拟机作为分布式系统的节点 2.更改克隆机的网络配置 cd /etc/sysconfig/network-scripts vi ifcfg-ens33 修改完毕后退出，重启网络： systemctl restart network 3.添加主机映射 先修改主机名：vi /etc/host ...
分类：
其他好文 时间：
2020-02-25 20:23:00
阅读次数：
53
