Linux系统资源分析手段：CPU，内存，磁盘与网络IO的瓶颈定位

您所在的位置：网站首页 › linux查看物理内存大小和名称 › Linux系统资源分析手段：CPU，内存，磁盘与网络IO的瓶颈定位

Linux系统资源分析手段：CPU，内存，磁盘与网络IO的瓶颈定位

2023-06-19 09:24| 来源: 网络整理| 查看: 265

Linux性能分析技巧：观察CPU，内存，磁盘与网络IO的限制前言：性能分析手段的应用场景常用调试命令汇总dstatpidstattoppsstraceltracelsofperfsar CPUuptime 内存free:vmstat 磁盘iostat 网络pingnetstattcpdump

前言：性能分析手段的应用场景用于优化：在程序编码完成后，我们通常要对自己编写的工具进行功能测试与性能分析。在这里插入图片描述

用于监控：在观察某个系统的运行情况时，需要观察系统内多个中间件及组件的资源占用情况。在这里插入图片描述

用于测试：在开启某个服务时，我们需要拥有对于该服务运行时资源占用的量化手段。在这里插入图片描述

在这些场景下，我我们需要一些调试手段帮我们量化进程对于系统资源的占用情况。对于以上三种场景，有如下常用基本调试命令：常用调试命令汇总

借助汇总角度的系统资源统计工具，我们可以快速清晰地定位进程的性能瓶颈是因为cpu太过密集还是io太慢，是因为内存不足或者是因为网络拥塞。一般情况下，CPU大部分的时间片都是消耗在用户态和内核态上。 sys和user间的比例是相互影响的，%sys比例高意味着被测服务频繁的进行用户态和系统态之间的切换，会带来一定的CPU开销，这样分配处理业务的时间片就会较少，造成系统性能的下降。对于IO密集型系统，无论是网络IO还是磁盘IO，一般都会产生大量的中断，从而导致%sys相对升高，其中磁盘IO密集型系统，对磁盘的读写需要占用大量的CPU，会导致%iowait的值一定比例的升高，所以当出现%iowait较高时，需排查是否存在大量的不合理的日志操作，或者频繁的数据载入等情况；

dstat

dstat是一个命令行工具，用于监控系统资源使用情况。它可以展示CPU、内存、磁盘I/O、网络流量等数据，帮助用户了解系统的整体运行情况。下面是dstat命令默认情况下展示的内容：

CPU信息：包括CPU使用率、上下文切换次数、中断次数、软中断次数等。内存信息：包括物理内存使用情况、交换空间使用情况等。磁盘I/O信息：包括每秒读写速度、IOPS（每秒I/O操作数）等。网络信息：包括发送/接收数据包数量、发送/接收速度等。系统信息：包括每秒钟的进程创建数量、系统时间等。

此外，dstat还支持许多插件，可以展示更加详细的信息，例如TCP连接数量、磁盘空间使用情况、进程状态等。用户可以通过指定插件名称或缩写来启用相应的插件。在这里插入图片描述上图显示了cpu使用情况，磁盘io情况，网络发包情况和换页情况，输出是彩色的，可读性较强，相对于vmstat和iostat的输入更加详细且较为直观。

pidstat

pidstat展示了各个进程或使用-e 指定进程的系统资源的情况,如CPU,内存、设备IO、任务切换、线程等。在这里插入图片描述

列名功能PID：进程ID号。%usr进程在用户态下所占用CPU的时间百分比。即进程在执行用户程序时，所占用的CPU时间百分比。%system进程在内核态下所占用CPU的时间百分比。即进程在执行内核中的系统调用、等待I/O操作时所占用的CPU时间百分比。%guest虚拟机（VM）上运行的客户机操作系统所消耗的CPU时间百分比。通俗来说，就是虚拟机中运行的程序所占用的CPU时间百分比。%CPU进程占用的CPU总时间百分比（包括用户态和内核态），这个值可能会超过100%，因为它是根据CPU核心数量计算的。CPU处理器编号，如果系统只有一个CPU，则该值始终为0。Command进程名字。

注意：以上数据中的“%”表示占用率百分比。

top

top 命令的汇总区域显示了五个方面的系统性能信息：负载、进程状态、cpu使用率、内存使用、交换分区。在这里插入图片描述 top是大家常用的系统信息查看命令，号称linux的任务管理器。他展示的内容有

任务计数：包括任务总数，运行中任务计数，休眠任务计数，终止任务计数，僵尸任务计数等。%Cpu(s)：CPU使用情况统计，包括：用户态进程占用CPU的时间百分比（us）内核态进程占用CPU的时间百分比（sy）优先级调整占用CPU的时间百分比（ni）空闲状态占用CPU的时间百分比（id）等待I/O操作占用CPU的时间百分比（wa）硬件中断占用CPU的时间百分比（hi）软件中断占用CPU的时间百分比（si）以及虚拟化占用CPU的时间百分比（st）KiB Mem：内存使用情况统计，包括总内存大小、空闲内存大小、已使用内存大小和缓存大小等信息。KiB Swap：交换分区使用情况统计，包括总交换分区大小、空闲交换分区大小和已使用交换分区大小等信息。列名功能PID进程号。USER进程所有者的用户名。PR进程优先级。NI进程优先级数值（nice值），负值表示高优先级，正值表示低优先级。VIRT进程使用的虚拟内存大小。RES进程正在使用或保留的物理内存大小。SHR进程正在使用的共享内存大小。S进程的状态。其中，D表示不可中断的休眠状态，R表示可中断的休眠状态，S表示睡眠状态，T表示停止状态，Z表示僵尸状态。%CPU进程占用CPU时间百分比。%MEM进程使用的物理内存百分比。TIME+进程使用CPU时间的累积值。COMMAND进程命令名称或命令行参数。

top运行过程中可以使用数字键1（非小键盘），查看cpu占用信息同时推荐一款iotop LINUX进程实时监控工具，界面风格类似top命令在这里插入图片描述以及htop：

ps命令是Linux操作系统中的一个常用命令，用于显示当前运行进程的状态和信息。在Linux中，每个进程都有一个唯一的进程ID（PID），并且可以根据进程的状态来进行分类。

直接执行显示当前进程的状态：在这里插入图片描述下面是一些ps命令的常用选项和参数，可以配合grep进行具体进程信息查看：

ps -ef：列出系统上所有运行的进程的详细信息。ps aux：与“ps -ef”相似，但使用Unix风格的选项语法。ps -auxf：以树状结构显示进程之间的关系。ps -u username：只列出特定用户运行的进程。ps -aux | grep keyword：搜索包含关键字的进程。 strace

跟踪程序执行过程中产生的系统调用及接收到的信号，帮助分析程序或命令执行中遇到的异常情况。请添加图片描述

ltrace

A library call tracer 跟踪进程调用库函数的情况在这里插入图片描述

lsof

lsof是"list open files"的缩写，用于列出当前系统打开的文件（包括网络连接、设备、管道等）。常用选项：

-i：列出所有网络连接 -c：根据进程名筛选 -p：根据进程ID筛选 -u：根据用户ID筛选

有以下几个比较好用的选项

列出某个端口的网络连接：lsof -i:PORT 列出某个应用程序使用的文件：lsof -c APPNAME 列出某个目录下所有打开的文件：lsof +D DIRECTORY perf

perf 是Linux kernel自带的系统性能优化工具。优势在于与Linux Kernel的紧密结合，它可以最先应用到加入Kernel的new feature，用于查看热点函数，查看cashe miss的比率，从而帮助开发者来优化程序性能。最主要的功能是用来查看某个cpu在执行某函数消耗的性能百分比，结合线程cpu绑核可以清晰地量化某个线程的性能损耗；

sar

sar命令是一个性能分析工具，可以通过收集系统的各种统计数据，如CPU利用率、内存使用情况、磁盘活动等来监测系统的运行状态。sar命令可用于实时监控和历史记录，还可以生成报告以便更深入地分析数据。

-u：显示CPU的使用情况 -r：显示内存的使用情况 -d：显示磁盘的活动情况 -n：显示网络的使用情况 -p：显示进程的活动情况

如每隔1秒钟收集一次网络中tcp使用情况并显示在屏幕上。请添加图片描述如果想使用更专业的性能测试工具，可以使用sysbench，sysbench是一个模块化、跨平台、多线程基准测试工具，可用于以下性能测试：

CPU性能磁盘IO性能调度程序性能内存分配及传输速度 POSIX线程性能数据库性能（OLTP基准测试）

Linux CPU使用率主要是从以下几个维度进行统计：

%usr：普通进程在用户模下下执行的时间； %sys：进程在内核模式下的执行时间； %nice：被提高优先级的进程在用户模式下的执行时间； %idle：空闲时间。 %iowait：等待I/O完成的时间。 %irp：处理硬中断请求花费的时间。 %soft：处理软中断请求花费的时间。 %steal：是衡量虚拟机CPU的指标，是指分配给本虚拟机的时间片被同一宿主机别的虚拟机占用，一般%steal值较高时，说明宿主机的资源使用已达到瓶颈；

以下是针对性更强的命令，也许展示的信息不是那么全面，但是当我们通过上述命令定位到问题，只关心某一方面系统参数时，以下命令更为合适。

CPU uptime

uptime 能够打印系统总共运行了多长时间和系统的平均负载，uptime命令最后输出的三个数字的含义分别是1分钟，5分钟，15分钟内系统的平均负荷；在这里插入图片描述

内存 free:

在这里插入图片描述

列名内容，单位为KBtotal内存容量总大小used已使用的内存总量free空闲内存的大小shared多个进程共享的内存总量buff/cache缓冲区占用的内存量，通常被看作是空闲内存，因为它们都是在内存中缓存数据，以便更快地访问它们。available可用的内存交换/swap交换区的占用情况，如果swap中存在used，并且持续增长或变动，说明内存空间不足，操作系统需要频繁地从硬盘中做内存映射，维护内存空间的上下文换入换出，这会很大程度上影响系统性能 vmstat

vmstat是一个虚拟内存统计工具，用于监测系统的虚拟内存状态和进程活动情况。在这里插入图片描述 vmstat：VirtualMeomoryStatistics,虚拟内存统计。显示的信息包括：

列名内容procs包括运行队列的进程数（r）和处于中断状态的进程数（b）memory包括物理内存（swpd）、空闲内存（free）、缓存（buffs）和被占用的缓存（cache）swap包括交换空间使用量（si（swap in）和 so（swap out）），si和so分别表示从磁盘读入和写出到磁盘的数据大小io包括硬盘IO（bi 和 bo），bi和bo表示每秒钟读取和写入块的数量system包括CPU使用率（%sys 和 %user）和上下文切换次数（ctxt）。cpu包括CPU使用率（idle、system、user、iowait和irq），us、sy、id、wa和irq分别表示用户进程、系统进程、空闲CPU时间、等待IO操作和处理硬件中断的CPU时间百分比。磁盘 iostat

iostat -x 用于报告中央处理器（CPU）统计信息和整个系统、适配器、tty 设备、磁盘和 CD-ROM 的输入/输出统计信息在这里插入图片描述

CPU部分介绍user用户级别进程使用CPU的百分比nice低优先级进程使用CPU的百分比system内核级别进程使用CPU的百分比iowait等待I/O操作完成时CPU处于空闲状态的百分比steal如果主机是虚拟化的并且其他虚拟机需要更多资源，那么此字段表示互相抢夺CPU的百分比idleCPU处于空闲状态的百分比 device部分介绍device设备名称tps示每秒钟完成的I/O传输次数，即磁盘的吞吐量，包括读写请求kB_read/s每秒钟从磁盘读取的数据量，单位是KB，也就是每秒的读取速度。kB_wrtn/s每秒钟向磁盘写入的数据量，单位是KB，也就是每秒的写入速度kB_read从磁盘读取的总数据量，单位是KB，也就是自系统启动以来的磁盘读取总量kB_wrtn向磁盘写入的总数据量，单位是KB，也就是自系统启动以来的磁盘写入总量rrqm/s每秒钟发起的读请求次数，但是会被合并处理成一个请求的情况也会计算在内wrqm/s每秒钟发起的写请求次数，但是会被合并处理成一个请求的情况也会计算在内%rrqm每秒钟发起的读请求中，被合并处理成一个请求的比例，即合并率%wrqm每秒钟发起的写请求中，被合并处理成一个请求的比例，即合并率r/s表示每秒钟完成的读次数，包括由操作系统自动发起的和应用程序主动发起的读请求w/s表示每秒钟完成的写次数，包括由操作系统自动发起的和应用程序主动发起的写请求。avgrq-sz表示平均每个I/O操作的数据大小（请求长度），单位是扇区，一般为512字节avgqu-sz表示平均每个磁盘队列的请求数量，也就是磁盘队列的长度。一般来讲，该值越小越好，减少等待时间。await表示平均每个I/O操作的等待时间，包括排队时间和服务时间，单位是毫秒。svctm表示平均每个I/O操作的服务时间，即I/O操作所花费的时间，单位是毫秒。%util表示磁盘使用率，即磁盘忙碌时间占总时间的百分比。如果该值持续较高，则明磁盘性能存在问题，需要进行优化。网络 ping

在这里插入图片描述 ping命令为用户提供基于icmp的网络探测服务，可用来快速查看某ip或域名是否可达。

netstat

netstat：用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于和grep配合检验本机各端口的网络连接情况。在这里插入图片描述

tcpdump

tcpdump是一个网络数据包分析工具，可以捕获和解析从网络中传输的数据包，也是网工从业者的好帮手。基本语法：

tcpdump [options] [expression] 参数说明：

-i：指定要监听的网络接口，如eth0。 -n：不进行DNS反向查询，直接显示IP地址。 -A：以ASCII文本形式显示数据包内容。 -X：以16进制和ASCII文本混合形式显示数据包内容。 -q：快速模式，只显示关键信息，不输出详细信息。 -c：指定要捕获的数据包数量。 -s：指定要捕获的数据包长度。 -v：详细模式，显示更为详细的信息。 -vv：非常详细模式，显示更为详细的信息。 -w：将捕获到的数据包保存到文件中。 -r：读取保存在文件中的数据包。

表达式说明： tcpdump支持使用表达式来过滤数据包。表达式可以根据协议类型、数据包来源和目标、端口号等条件来进行过滤。常见表达式如下：

host：指定数据包的来源或目标主机。 net：指定数据包的来源或目标网络。 port：指定数据包的源或目标端口。 tcp、udp、icmp：指定数据包的协议类型。 and、or、not：逻辑运算符，用于组合表达式。 dst、src：指定数据包的目标或来源地址。

比如从ens33网卡捕获80端口，ip为本机的包，限制12帧并落地为dump.pcap文件，也可以从某个pcap包读取帧；在这里插入图片描述

本专栏知识点是通过的系统学习，进行梳理总结写下文章，对c/c++linux课程感兴趣的读者，可以去零声官网查看详细的服务:

【本文地址】

Linux系统资源分析手段：CPU，内存，磁盘与网络IO的瓶颈定位

Linux系统资源分析手段：CPU，内存，磁盘与网络IO的瓶颈定位

今日新闻

推荐新闻