Hadoopnamenode高可用性分析：QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志，最早HDFS日志写本地，每次重启或出现故障后重启，通过本地镜像文件＋操作日志，就能还原到宕机之前的状态，不会出现数据不一致。如果要做高可用(HA)，日志写在单个机器上，这个机器磁盘出现问题，重启就恢复不了，导致数据不一致，出现的现象就是新建的文件不存在，删除成功的还在等诡异现象。
分类：
其他好文 时间：
2020-11-07 17:00:30
阅读次数：
24
1.词频统计 a.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 b.编写map与reduce函数 c.本地测试map和reduce d.将文本数据上传到HDFS上 e.用hadoop streaming提交任务 f.查看运行结果 g.计算结果取回本地 ...
分类：
其他好文 时间：
2020-11-07 16:36:45
阅读次数：
33
1.关于IO： 用于处理设备之间的数据传输，如读写文件，网络通讯等 Java中，对于数据的输入/输出操作以“流/stream”的方式进行 jav.io包下提供各类“流”类和接口，用于获取不同种类的数据，并通过标准方法输入或者输出数据 2.IO流的原理和分类： 按照数据单位不同：字节流、字符流 按照数 ...
分类：
其他好文 时间：
2020-11-07 16:33:56
阅读次数：
21
1.下载喜欢的电子书或大量文本数据，并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:32:22
阅读次数：
17
ioctl 是设备驱动程序中设备控制接口函数，一个字符设备驱动通常会实现设备打开、关闭、读、写等功能，在一些需要细分的情境下，如果需要扩展新的功能，通常以增设 ioctl() 命令的方式实现。 ioctl的函数定义如下： int ioctl(int fd, int cmd, ...) ; 其中各个参 ...
分类：
系统相关 时间：
2020-11-07 16:18:48
阅读次数：
21
1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:17:20
阅读次数：
18
参考链接：https://www.jdon.com/ddd.html 原先的业务对象类只有key value，属于贫血模型，而DDD领域驱动设计的理念下，业务对象类同时有了原先service里的行为和方法。 原先的model包含service dao valueObject，view是jsp或jso ...
分类：
其他好文 时间：
2020-11-06 02:22:17
阅读次数：
21
知乎HBase实践前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型，面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛.HBase系统支持对所存储的数据进行透明切分，从而使得系统的存储以及计算具有良好的水平扩展性.知乎从2017年起开始逐渐采用HBase系统存储各
分类：
其他好文 时间：
2020-11-06 01:07:32
阅读次数：
22
RAID，它分为软raid和硬raid，raid有以下几种模式，1，镜像模式2，条带模式3，校验模式，其中镜像模式写数据比较慢，条带模式是把数据分散并行的存放于各个磁盘，校验模式主要是将数据进行异或操作，或者使用奇偶校验等来保障数据raid分为0---5现在我们一般使用raid015101raid0：它是一种条带模式，优势为读写数据非常快，一块磁盘就可以实现，缺点为，没有冗余，若一块盘坏掉，数据将
分类：
其他好文 时间：
2020-11-06 00:59:12
阅读次数：
12
