1、关于日志切割 日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成了个问题。除此之外，处理一个单个的庞大日志文件也常常是件十分棘手的事。 logrotate是个十分有用的工具，它可以自动对 ...
分类：
其他好文 时间：
2020-06-28 16:44:12
阅读次数：
58
1、删除一个大文件 我在生产服务器上有一个很大的200GB的日志文件需要删除。我的rm和ls命令已经崩溃，我担心这是由于巨大的磁盘IO造成的，要删除这个大文件，输入： > /path/to/file.log # 或使用如下格式 : > /path/to/file.log # 然后删除它 rm /pa ...
分类：
其他好文 时间：
2020-06-28 00:23:01
阅读次数：
75
问题背景 训练深度学习模型往往需要大规模的数据集，这些数据集往往无法直接一次性加载到计算机的内存中，通常需要分批加载。数据的I/O很可能成为训练深度网络模型的瓶颈，因此数据的读取速度对于大规模的数据集（几十G甚至上千G）是非常关键的。例如：https://discuss.pytorch.org/t/ ...
分类：
数据库 时间：
2020-06-25 19:36:16
阅读次数：
148
一、背景 随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的磁盘、IO、系统开销，甚至性能上的瓶颈，而一台服务的资源终究是有限的，因此需要对数据库和表进行拆分，从而更好的提供数据服务。 当用户表达到千万级别，在做很多操作的时候都会很吃力，所以当数据增长 ...
分类：
数据库 时间：
2020-06-17 23:15:37
阅读次数：
66
一 mysql双写( 目标机械盘) 1 double write是什么 1 内存中开启的一个连续空间 2 共享表空间 ibdata中的一个缓存区间 3 大小2M,由2个段构成(每个段64个页 一共128个页) 目的 是为了避免页损坏/页中断后无法恢复的情况,实现原子写特性 2 描述下double w ...
分类：
数据库 时间：
2020-06-10 10:59:23
阅读次数：
122
1. uptime 这是一个快速展示系统平均负载的方法，这也指出了等待运行进程的数量。在 Linux 系统中，这些数字包括等待 CPU 运行的进程数，也包括了被不可中断 I/O（通常是磁盘 I/O）阻塞的进程。这给出了资源负载的很直接的展示，可以在没有其它工具的帮助下更好的理解这些数据。它是唯一快捷 ...
分类：
系统相关 时间：
2020-06-09 18:59:21
阅读次数：
73
1. 概述 Java IO一般包含两个部分： 1.java.io包中堵塞型IO； 2.java.nio包中的非堵塞型IO，通常称为New IO。 java.io包下，分为四大块近80个类： 1、基于字节操作的I/O接口：InputStream和OutputStream 2、基于字符操作的I/O接口： ...
分类：
编程语言 时间：
2020-06-08 19:16:01
阅读次数：
61
前一段时间，我们机房中一台Linux服务器运行缓慢，系统服务出现间歇性停止响应，让我过去处理一下这一问题，登录到服务器之后，发现此服务器的物理内存是16G，而最初装机的时候，系统管理人员却只分配了4G的虚拟内存。查看内存的使用状况，物理内存并没有完全耗尽，但虚拟内存已经耗尽，整个系统CPU负载和磁盘 ...
分类：
系统相关 时间：
2020-05-31 21:26:53
阅读次数：
104
题目：在一个大文件中有10G个整数，乱序排列，要求找出中位数（内存有2G限制，不能一次全部加装），请写出算法设计思路。 中位数的定义：对于一个排序好的序列，如果数据有奇数个的话，中位数就取中间的一个；如果有偶数个的话，中位数一般取中间两个数的平均值。 解题： 思路一：堆排序（转换为求前5G大的元素） ...
分类：
其他好文 时间：
2020-05-29 17:33:39
阅读次数：
108
