软件包管理
软件包组成
二进制程序
配置文件
单文件
将主配置文件切割成多个小文件,并放置于某个目录中。
/etc/profile ,/etc/profile.d/*
/etc/pam.conf , /etc/pam.d/*
单文件,在内部分割成多个片段。
...
分类:
系统相关 时间:
2015-04-04 09:20:08
阅读次数:
181
iOS开发网络篇—文件下载(一·不合理)一、小文件下载如果文件比较小,下载方式会比较多直接用NSData的+ (id)dataWithContentsOfURL:(NSURL *)url;利?NSURLConnection发送一个HTTP请求去下载如果是下载图片,还可以利用SDWebImage框架二...
分类:
移动开发 时间:
2015-04-02 22:31:40
阅读次数:
216
在线文件管理器即使用浏览器管理和操作项目中的目录和文件文件相关操作包括:1.创建文件2.判断文件的权限3.文件的大小4.文件的创建时间、修改时间、访问时间5.查看文件的内容6.修改文件的内容7.删除文件8.重命名文件9.复制文件10.剪切文件11.上传文件12.下载文件文件夹相关操作:1.新建文件夹...
分类:
Web程序 时间:
2015-03-30 22:41:10
阅读次数:
149
什么是表分区一般情况下,我们建立数据库表时,表数据都存放在一个文件里。但是如果是分区表的话,表数据就会按照你指定的规则分放到不同的文件里,把一个大的数据文件拆分为多个小文件,还可以把这些小文件放在不同的磁盘下由多个cpu进行处理。这样文件的大小随着拆分而减小,还得到硬件系统的加强,自然对我们操作数据...
分类:
数据库 时间:
2015-03-30 10:52:08
阅读次数:
296
df-查看不同的文件系统有多少空闲的磁盘空间、被挂载文件系统的磁盘利用率(仅以K显示)。
df -h 以可读的方式展示磁盘空间(会根据文件大小以K,M,G直观显示)
展示inode使用情况:inode是用来存储特定文件的元数据的一种数据结构,创建一个文件系统时,inode的预先定义数量将被分配。一个文件系统耗尽空间可能是大文件用尽空间,也可能是小文件用完所有inode...
分类:
系统相关 时间:
2015-03-29 00:42:34
阅读次数:
248
首先要弄清两个概念:打包和压缩。打包是指将一大堆文件或目录变成一个总的文件;压缩则是将一个大的文件通过一些压缩算法变成一个小文件。为什么要区分这两个概念呢?这源于Linux中很多压缩程序只能针对一个文件进行压缩,这样当你想要压缩一大堆文件时,你得先将这一大堆文件..
分类:
系统相关 时间:
2015-03-28 11:44:04
阅读次数:
213
需求说明在bash中,我们可以使用split命令轻松实现文本的拆分。现在增加两点需求:1. 在每份拆分文件的头部插入title,便于查看。2. 拆分文件的名称为源文件名称前加编号,如1.source.txt。总体思路1. 执行split命令,把源文件按指定行数拆分成若干小文件。2. 遍历这些小文件,...
分类:
系统相关 时间:
2015-03-20 23:29:17
阅读次数:
404
海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash...
分类:
其他好文 时间:
2015-03-20 18:09:20
阅读次数:
95
一、性能低下的常见原因
(一)硬件环境
1、CPU/内存不足,或未充分利用
2、网络原因
3、磁盘原因
(二)map任务原因
1、输入文件中小文件过多,导致多次启动和停止JVM进程。可以设置JVM重用。
2、数据倾斜:大文件且不可分割,导致处理这些文件的map需要很长时间。
3、数据本地化效果差。
(三)reduce任务的原因
1、reduce任务数量过大或过小
2、数据...
分类:
其他好文 时间:
2015-03-13 22:28:04
阅读次数:
176
背景:
hdfs文件系统有很多小文件,这些小文件会定期合并到大文件中,合并完成之后要删除这些小文件。但是有可能当前其他人正在读取这些小文件,此时如果将这些小文件删除,会导致当前用户无法正确获取到文件。
这一点hdfs做的有点恶心:最初我的理解是如果有线程A正在读取这个小文件,其他线程B删除这个小文件时应该会失败(至少应该要抛出异常)。但是测试发现不是这样的。实际的结果是:线程B默默的将小文件直...
分类:
数据库 时间:
2015-03-11 10:52:31
阅读次数:
659