作者邮箱：[email protected] 时间：2021/05/16 14:39 实现环境：Linux 系统：ubuntu 18.04 CPU：2核 内存大小：4G

对于一个磁盘来说，最常见的性能问题就是磁盘空间不足，所以我们先介绍如何查看Linux的磁盘容量，在命令行输入以下命令：

有些时候，我们可能遇见明明我们磁盘还有空间，但是就是空间不足的问题，因为我们的索引文件也占了一部分容量，用 -i 参数查看索引所占大小：

磁盘常见的性能指标主要由以下五个：

要观测这些性能指标就需要借助一些工具：诸如iostat，pidstat等。

在命令行中敲击如下命令：

iostat提供了非常丰富的性能指标，除了第一行是有关机器的信息，后面各列的具体解释如下： 其中我们主要关注以下几行的指标：

刚刚的 iostat 只能观察每个磁盘大概的一个I/O 情况，如果我们想要观察进程所占的磁盘I/O情况就需要用到 pidstat 工具：

由于目前机器没有运行消耗磁盘IO的程序，所以这里没有打印，不过我们还是要关注这几列：

除了 pidstat 可以查看磁盘IO信息之外，我们还可以使用 iotop 命令查看， iotop 可以对进程的磁盘IO使用情况进行排序：

前两行分别表示，进程的磁盘读写大小总数和磁盘真实读写大小。因为缓存、缓冲区、IO合并等因素的影响，他们可能并不相同。

下面我们通过倪朋飞老师介绍的一个案例来捋一下磁盘性能排查的思路：

首先，我们在中断运行以下命令：

这个会启动倪朋飞老师打包好的一个docker程序，然后我们在中断运行ps命令，查看程序是否启动成功：

如果出现以下打印，说明程序成功运行：

然后我们可以先用top，查看当前系统的 CPU 和内存使用情况，然后再用其他工具进行排查： 我们可以看到，CPU1 的iowait使用率非常高，可以判定正在运行IO密集型程序，而下面占用42.1%的python程序无疑是个怀疑对象。

我们现在再使用 iostat 命令查看当前的整体I/O情况：

可以看到，磁盘vad的IO使用率已经高达100%，形成了IO饱和。我们现在就用 pidstat 命令查看导致此情况发生的元凶是哪个进程：

可以看到现在运行了三个线程，其中kworker 和jdb2都是用来保证文件系统基本功能的内核线程，剩下一个python进程无疑就是元凶。

接下来，我们使用 strace 来看看python进程到底在干什么：

重点关注最后一行，python进程向文件描述符为3的文件疯狂的写入大小为300MB的文件，这也是导致我们高磁盘IO的元凶！

我们再用 lsof 工具来看一下这个元凶又在向哪个文件中写数据呢：

最后一行告诉我们，/tmp/logtest.txt文件就是承载元凶数据的文件。找到了元凶，我们就可以去查看对应的源代码了，至此，排查成功！