一、JVM简介 JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是跨平台性。而使用Java虚拟机是实现这一特点的关键。一般的高 ...
分类：
其他好文 时间：
2020-04-20 13:26:02
阅读次数：
57
继续上一篇我们继续学习InnoDB的表的相关知识，本章主要内容：InnoDB表约束，视图，分区表。 约束 首先我们搞清楚约束和索引的区别，用户创建了一个唯一索引，意味着用户创建了唯一约束。但是约束和索引的概念是不同的，约束更多是逻辑上的概念，用来保证数据的完整性，而索引是一个数据结构，既有逻辑上的概 ...
分类：
数据库 时间：
2020-04-19 17:39:38
阅读次数：
93
硬连接：lnsource_filedest_file文件具有相同的inode（索引号）和datablock（数据块）。只能对已存在的文件进行建立，不能对目录创建不能跨分区创建删除一个硬链接不会影响其他有相同inode的文件软链接ln-ssource_filedest_file软链接具有自己的文件属性以及权限软链接可以对不存在的文件或目录进行创建软链接可跨分区创建创建软链接，链接计数i_nlike不
分类：
系统相关 时间：
2020-04-19 14:34:54
阅读次数：
85
一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。 Consistency 一致性是指 “all nodes see the same data at the same time.” ...
分类：
其他好文 时间：
2020-04-19 13:19:17
阅读次数：
70
小文件问题原因： ① 众所周知，小文件在HDFS中存储本身就会占用过多的内存空间，那么对于MR查询过程中过多的小文件又会造成启动过多的Mapper Task, 每个Mapper都是一个后台线程，会占用JVM的空间。 ② 在Hive中，动态分区会造成在插入数据过程中，生成过多零碎的小文件。 ③ 不合理 ...
分类：
其他好文 时间：
2020-04-19 13:17:44
阅读次数：
89
概述Map方法之后, 数据首先进入到分区方法, 把数据标记好分区, 然后把数据发送到环形缓冲区; reduce的并行数量以及输出文件的个数, 由分区数决定. 默认分区是根据key的hashCode对ReduceTasks个数取模得到.自定义步骤1.自定义类继承Partitioner, 重写getPa... ...
分类：
其他好文 时间：
2020-04-19 13:01:58
阅读次数：
62
本篇描述的是将磁盘扩容到/home目录下，对应的系统版本是centos版本 一、用root用户登录到你的linux系统，查看你系统的分区 #fdisk -l 会出现以下的信息： Device Boot Start End Blocks Id System /dev/sda1 * 1 64 51200 ...
分类：
其他好文 时间：
2020-04-19 10:47:27
阅读次数：
78
1.RDD 是spark的核心数据结构，全称是弹性分布式数据集。 本质上是一种分布式的内存抽象，表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建，RDD定义了各种丰富的转换操作，通过转换操作，新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系 ...
分类：
数据库 时间：
2020-04-19 01:15:39
阅读次数：
108
永久修改主机名：hostnamectl set-hostname oldboy临时修改主机名：hostname xfsdump备份xfsdump -f 备份的文件位置 要备份的分区或者磁盘 -L 标签 -M标签免交互备份做定时备份：xfsdump -f /opt/dump_sdb_01 /sdb - ...
分类：
其他好文 时间：
2020-04-19 00:43:26
阅读次数：
72
linux 查看磁盘命令 du df 相关命令 ① df -hl: 查看磁盘剩余空间 ② df -h: 查看每个根路径的分区大小 ③ du -sh[目录名]: 返回该目录的大小 ④ du -sm[ 目录名]: 返回该文件夹总 MB 数 ⑤ du -h[目录名]: 查看指定文件夹下的所有文件大小(包含 ...
分类：
系统相关 时间：
2020-04-18 22:48:38
阅读次数：
97
