RDD概述 RDD：弹性分布式数据集，初学时，可以把RDD看做是一种集合类型（和Array，List类比） RDD的特点： ①有容错性，即数据丢失是可以恢复的 ②有分区机制，可以并行的处理RDD数据 创建RDD的2种方式： ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类：
其他好文 时间：
2020-07-05 15:15:06
阅读次数：
66
主要针对有强迫症的同学 比如c:分区320G，打开https://www.iplaysoft.com/tools/partition-calculator/ 得到值是327686，然后系统分区和MSR分别100M，16M，加起来就是327802M 一般情况下是有恢复分区的（通常450M），加起来就是 ...
分类：
其他好文 时间：
2020-07-05 15:11:46
阅读次数：
66
1.忘记root密码，除了可采用进入单用户维护模式外，还可以利用LiveCD来挂载根目录将root密码清除后，再重新修改。 2.将CentOS6开机时的第一启动设备修改成CD-RAM.(修改BIOS) 3.进入LiveCD系统后，挂载根目录所在的系统分区： 4.将root用户的密码清除后，将第一启动 ...
分类：
其他好文 时间：
2020-07-05 00:19:31
阅读次数：
127
ubuntu16.04 1.制作安装启动U盘 UltraISO 启动 写入硬盘映像 如果写入方式选择USB-HDD+或者USB-HDD无法启动，那就把写入方式换成RAW。 隐藏启动分区选择--写入新的驱动器引导扇区--Syslinux 2.安装 如果英语不是非常厉害，就不要折腾，选择中文。 分区：个 ...
分类：
系统相关 时间：
2020-07-04 18:55:25
阅读次数：
104
工作流程1 Map Task MR工作流程2 Reduce Task 1）提交切片信息，jar包，和xml配置文件到yarn。2）Yarn ResourceManager启动一个MR AppMaster。3）AppMaster根据切片信息启动相应数量的Map Task。4）Map Task取读取按照 ...
分类：
其他好文 时间：
2020-07-03 23:29:37
阅读次数：
60
《Windows Azure Platform 系列文章目录》 之前遇到1个问题，在这里记录一下。 我在使用Cosmos DB的时候，遇到了查询不到数据的问题。解决方案如下： 我们设计的Collection，分区键是/id 1.如果查询是按照分区键查询的，则命中率会很高，比如查询条件里面，是按照分区 ...
分类：
数据库 时间：
2020-07-03 15:53:50
阅读次数：
63
inotify-tools3.14版本永久链接 链接： inotify-tools-3.14提取码：15t5 概要：为什么需要监控系统文件？ 跟踪某些关键的系统文件的变化 通知配置文件的改变 监控某个分区磁盘的整体情况 Inotify到底是做什么的？ Inotify是一种文件变化通知机制，linux ...
分类：
系统相关 时间：
2020-07-03 15:18:14
阅读次数：
76
fdisk将每一个分区删除然后dd if=/dev/zero of=/dev/sda bs=512k count=1cd /opt/MegaRAID/MegaCli/./MegaCli_ls -cfgclr -a0 清除RAID 卡原有配置信息./MegaCli_ls -cfgclr -a0 查看r ...
分类：
其他好文 时间：
2020-07-03 12:27:37
阅读次数：
63
一、 df 查看磁盘空间使用情况 df: disk free 空余硬盘 1．基本语法 df 选项 （功能描述：列出文件系统的整体磁盘使用量，检查文件系统的磁盘空间占用情况） 2．选项说明 -h 以人们较易阅读的 GBytes, MBytes, KBytes 等格式自行显示； 3．案例实操 查看磁盘使 ...
分类：
系统相关 时间：
2020-07-02 22:11:06
阅读次数：
109
查看虚拟内存swap的大小#free-m2.分区#fdisk/dev/sdbn-----p----2-----p3.验证分区#partprobe/dev/sdb#ll/dev/sdb*(------/dev/sdb2)4.格式化并启动swap分区#mkswap/dev/sdb2#swapon/dev/sdb2#free-m5.关闭swap#swapoff/dev/sdb2#free-m6.开机自动
分类：
其他好文 时间：
2020-07-02 21:52:59
阅读次数：
73
