Spark提供的主要抽象是resilient distributed dataset（RDD） 弹性分布式数据集，它是跨集群节点划分的元素的集合，可以并行操作。通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还 ...
分类：
编程语言 时间：
2020-05-31 16:03:22
阅读次数：
92
Liunx 开机启动流程 系统文件目录 磁盘管理 挂载 卸载 防火墙 防火墙命令 服务器端口 服务商端口 网络配置 进程管理 父子进程 僵尸进程 孤儿进程 线程管理 软件管理 安装 卸载 软件设置 软件运行级操作： chkconfig 运行状态操作： service 用户管理 用户组 用户 目录文件 ...
分类：
其他好文 时间：
2020-05-31 12:53:06
阅读次数：
57
一、目录和路径 1. 目录 目录是一组相关文件的集合。一个目录下面除了可以存放文件之外还可以存放其他目录，即包含子目录。 在确定文件、目录位置时，DOS 和 Unix/Linux 都采用“路径名+文件名”的方式。路径反映的是目录与目录之间的关系。 2. 路径 Unix/Linux 路径由到达定位文件 ...
分类：
系统相关 时间：
2020-05-31 10:41:14
阅读次数：
141
一个合格的Linux运维工程师就必须知道系统启动流程，不管是在面试中还是系统故障排错或多或少都会涉及到启动流程。本文参考《鸟哥的Linux私房菜》第三版在了解系统启动流程之前先了解几个概念：Linux的组成部分：Kernel+rootfs（根文件系统）+程序Kernel的功能：进程管理、内存管理、网... ...
分类：
系统相关 时间：
2020-05-31 00:53:18
阅读次数：
117
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
在Docker容器退出时，默认容器内部的文件系统仍然被保留，以方便调试并保留用户数据。 但是，对于foreground容器，由于其只是在开发调试过程中短期运行，其用户数据并无保留的必要，因而可以在容器启动时设置--rm选项，这样在容器退出时就能够自动清理容器内部的文件系统。示例如下： docker ...
分类：
其他好文 时间：
2020-05-30 20:19:05
阅读次数：
79
1. 进程0创建进程1 init main.c sched_init() | |- hd_init() | |- fork() int 0x80//系统调度中断 | |- init() setup() int 0x80 | |- pause() int 0x80 | |- kernel sched. ...
分类：
系统相关 时间：
2020-05-30 15:54:43
阅读次数：
68
rsync文章目录rsyncrsync简介rsync特性rsync的ssh认证协议rsync命令rsync+inotify6.rsync常见报错信息处理1.rsync简介rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具RemoteSync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。2.rsync特性可以镜像保存整个目录树和文件系统可以很容易做到保持原来文件
分类：
其他好文 时间：
2020-05-30 15:30:15
阅读次数：
56
连接好硬件，复位运行u-boot -> 加载内核并启动内核 -> nfs挂载根文件系统在嵌入式平台的根文件系统里输入 ls /dev/mtdblock* 如果能够查看到此设备，则将其挂载到嵌入式平台的/mnt目录下 mount -t jffs2 /dev/mtdblock2 /mnt mount / ...
分类：
数据库 时间：
2020-05-30 11:04:39
阅读次数：
112
