Linux系统中需要关注的指标包括CPU、硬盘、内存、网络状态这四个模块。

常用于“监控”的Linux系统命令包括：

常用于“性能测试”的Linux系统命令包括：

常用于“优化”的Linux系统命令包括：

通常用于在线上应急或者技术攻关中，确定操作系统的重启时间。

Linux系统对每个登录用户都限制其最大进程数和打开的最大文件句柄数。可根据实际的需求进行设置，使用 ulimit -a 来显示当前系统对用户的各项使用资源的限制。

curl命令用于查看HTTP调用返回的结果是否符合预期。

例如：

ps -ef 查看系统内所有进程，使用 grep进行过滤：

使用 grep -v 反向过滤，忽略某些不想看到的内容：

ps命令中各列的含义：

UID、PID、PPID、C、STIME、TTY、TIME、CMD

top命令用于查看活动进程的CPU和内存信息，能够实时显示系统中各个进程的资源占用情况，可以按照CPU、内存的使用情况和执行时间对进程进行排序。

top命令参数详解参考： https://blog.csdn.net/yjclsx/article/details/81508455

pidstat 用于监控全部或指定进程占用系统资源的情况，包括CPU、内存、磁盘I/O、线程切换、线程数等数据。

命令参数：

例如：

CPU信息：

%usr：用户层正在使用的CPU百分比； %system： 系统层正在使用的CPU百分比； %CPU：进程整个占用的CPU时间百分比（%usr+%system） CPU：处理器个数 %guest：运行虚拟机的CPU占用百分比。

对于“计算密集型”的应用，正常情况下应该占用更多的 %usr； 对于“IO密集型”的应用，正常情况下应该占用更多的 %system。

所以，如果你的应用程序是IO密集型的，比如是处理网络IO的程序，但是却 %usr过高导致cpu过高，那么这个时候需要关注一下是不是应用程序写的有问题。

内存信息：

VSZ：该线程使用的虚拟内存（以KB为单位）； RSS：该线程使用的物理内存（以KB为单位）； %MEM：当前任务使用的有效内存的百分比；

磁盘信息： kB_rd/s：每秒此进程从磁盘读取的字节数（kB/s）； kB_wr/s：每秒此进程已经或者将要写入磁盘的字节数（kB/s） kB_ccwr/s：由任务取消的写入磁盘的字节数（kB/s）。

free命令用于显示系统内存的使用情况，包括总体内存、已经使用的内存；还可用于显示系统内核使用的缓冲区，包括缓冲（buffer）和缓存（cache）等。

vmstat命令用于显示关于内核线程、虚拟内存、磁盘I/O、陷阱和CPU占用率的统计信息。

cs： 表示线程环境的切换次数，此数据如果太大时表明线程的同步机制有问题；（图中cs值为20） si和so较大时，说明系统频繁使用交换区，应该查看操作系统的内存是否够用

iostat命令用于监控CPU占用率、平均负载值和I/O读写速度等。

df命令用于查看文件系统的硬盘挂载点和空间使用情况。

ifconfig命令用于查看机器挂载的网卡情况。

其中lo是本地回绕。

ping命令是用检测网络故障的常用命令，可以用来测试一台主机到另外一台主机的网络是否连通。

telnet 是TCP/IP协议族的一员，是网络远程登录服务器的标准协议，帮助用户在本地计算机上连接远程主机。

telnet与ssh的区别： 本质区别：telnet是明文传输，ssh是加密传输； 端口区别：telnet使用端口 23，ssh使用端口 22。

netstat命令用于显示网络连接、端口信息等。

主要能查看到的信息包括： ① 端口状态（TCP的11个状态）、② 某条连接上的本端和对端的IP/端口信息、③ 某条连接上的发送队列/接收队列中的缓存报文信息（Recv-Q/Send-Q）。

常用参数：

netstat -a：显示所有： 注意其中显示的是localhost主机名，使用-n则可以转为IP地址127.0.0.1。

使用方法：

-p是一个很有用的参数，可以查看到对应某个端口的应用程序名称及进程ID。

tcpdump是网络状况分析和跟踪工具，是可以用来抓包的使用命令。 使用前需要对TCP/IP有所熟悉，因为过滤使用的信息是TCP/IP格式。

常用参数：

练习：

pstack命令用来查看每个进程的调用栈，相当于是gdb的shell封装。使用方法是 pstack + 进程ID。

strace是Linux系统下的一款程序调试工具，用来监控一个应用程序所使用的系统调用，通过它可以跟踪系统调用，让你熟悉一个Linux程序在背后是怎么工作的。

使用举例：

Linux系统内核提供了通过 /proc 文件系统查看运行时内核内部数据结构的能力，也可以改鬓内核参数设置。

例如：

在进行服务端性能测试时，需要观察系统对CPU的使用情况，以此作为衡量整个系统性能的重要指标，对于Linux CPU主要的关注点在 利用率、运行队列、负载、上下文切换 等，因此了解这些指标的含义和常用的监控方法对性能测试有很大的帮助。

Linux CPU使⽤率主要是从以下⼏个维度进⾏统计： %usr：普通进程在⽤户模下下执⾏的时间； %sys：进程在内核模式下的执⾏时间； %nice：被提⾼优先级的进程在⽤户模式下的执⾏时间； %idle：空闲时间。 %iowait：等待I/O完成的时间。 %irp：处理硬中断请求花费的时间。 %soft：处理软中断请求花费的时间。 %steal：是衡量虚拟机CPU的指标，是指分配给本虚拟机的时间⽚被同⼀宿主机别的虚拟机占⽤，⼀ 般%steal值较⾼时，说明宿主机的资源使⽤已达到瓶颈； ⼀般情况下，CPU⼤部分的时间⽚都是消耗在⽤户态和内核态上。 sys和user间的⽐例是相互影响的，%sys⽐例⾼意味着被测服务频繁的进⾏⽤户态和系统态之间的切换， 会带来⼀定的CPU开销，这样分配处理业务的时间⽚就会较少，造成系统性能的下降。对于IO密集型系 统，⽆论是⽹络IO还是磁盘IO，⼀般都会产⽣⼤量的中断，从⽽导致%sys相对升⾼，其中磁盘IO密集型系 统，对磁盘的读写需要占⽤⼤量的CPU，会导致%iowait的值⼀定⽐例的升⾼，所以当出现%iowait较⾼ 时，需排查是否存在⼤量的不合理的⽇志操作，或者频繁的数据载⼊等情况； CPU利⽤的详细情况可以通过top，vmstat命令进⾏查看

当Linux内核要寻找⼀个新的进程在CPU上运⾏时，必须只考虑处于可运⾏状态的进程，（即在 TASK_RUNNING状态的进程），因为扫描整个进程链表是相当低效的，所以引⼊了可运⾏状态进程的双 向循环链表，也叫运⾏队列（runqueue）。每个CPU或者说每个核都会维持⼀个运⾏队列，队列中存放 running和runnable两种状态的进程，CPU会不断的调度队列中的进程运⾏，因此队列中的进程数越多， 每个进程分别到的时间⽚就越少，程序的时间也就越⻓，同时CPU会不断的处于运⾏状态，性能开销较 ⼤。可以通过观察⼀定时间内运⾏队列中的进程数量来判断CPU是否达到的瓶颈，这就有了负载的概念；

CPU的负载（Load），是指在⼀段时间内 CPU正在处理以及等待 CPU处理的进程数之和的统计信息，也 就是 CPU运⾏队列⻓度的统计信息。平均负载（Load Average）是指上⼀段时间内同时处于运⾏队列的 平均进程数，Load Average是反应系统压⼒的重要指标，Load Average越⾼说明对于CPU资源的竞争越 激烈，CPU资源⽐较短缺。对于资源的申请和维护其实也是需要很⼤的成本，所以在这种⾼Average Load的情况下CPU资源的⻓期“热竞争”也是对于硬件的⼀种损害。 举个例⼦，把CPU处理进程的过程看成⽕⻋站售票： 假如售票处有10个窗⼝，买票的⼈只有1个，毫⽆疑问，这个乘客随便找个窗⼝买完票就可以拍屁股⾛ ⼈了，⽽且还有9个售票⼈员可以喝茶看报纸，这时的平均负载是0.1，售票运作毫⽆压⼒； 如果买票的⼈有10个，那也还好，⼀个窗⼝⼀个⼈，所有窗⼝的售票⼈员都在⼯作，也可以快速的买到 票，这时的平均负载是1，所有的售票窗⼝都在运作； 如果有20个⼈在买票，这就要出现排队的情况，售票⼈员要不停的卖票，直到排队的都买到票，这时平 均负载是2，所有售票窗⼝都在运作，⽽且出现了排队情况； 如果是100,200⼈或者更多的⼈买票，这时售票⼈员就要不停的⼯作，为了不把售票⼈员累坏可能就要考 虑增加窗⼝，也就是扩容了。⽽实际CPU处理进程时并不是像售票⼀样卖完⼀个⼈下⼀个⼈，CPU处理每 个进程时是有固定的时间⽚，如果在时间⽚内这个任务没有处理完，就要挂起这个任务处理下⼀个，这是 就会产⽣中断，⾼负载的情况下会不断产⽣进程间的调⽤，从⽽产⽣⼤量中断，造成系统的开销，所以在 做性能测试时，要重点关注负载情况，来判读CPU是否达到了瓶颈，依据经验分析，单核CPU负载5时，那么就表明这个机器存在严重的性能问题。 负载可以通过top，uptime、cat /proc/loadavg等命令查看1分钟，5分钟，15分钟的负载值：

⼀个标准的Linux内核可以⽀持运⾏50～50000个进程运⾏，对于普通的CPU，内核会调度和执⾏这些进 程。每个进程都会分到CPU的时间⽚来运⾏，当⼀个进程⽤完时间⽚或者被更⾼优先级的进程抢占后，它 会备份到CPU的运⾏队列中，同时其他进程在CPU上运⾏。这个进程切换的过程被称作上下⽂切换。 Linux系统具有两个不同级别的运⾏模式，内核态和⽤户态，其中内核态的运⾏级别要⼤于⽤户态，这个级 别可以进⾏任何操作，⼀般内核运⾏与内核态，⽽应⽤程序是运⾏在⽤户态。当发⽣上下⽂切换时，通过 系统调⽤，处于⽤户态的应⽤程序就会进⼊内核空间，待调⽤完成之后重新返回值⽤户态运⾏，因此上下 ⽂切换存在系统开销，会⼀定程度上增加%sys的值。 当⼀个进程在执⾏时，CPU的所有寄存器中的值、进程的状态以及堆栈中的内容被称为该进程的上下⽂。 当内核需要切换到另⼀个进程时，它需要保存当前进程的所有状态，即保存当前进程的上下⽂，以便在再 次执⾏该进程时，能够必得到切换时的状态执⾏下去。在LINUX中，当前进程上下⽂均保存在进程的任务 数据结构中。在发⽣中断时,内核就在被中断进程的上下⽂中，在内核态下执⾏中断服务例程。但同时会保 留所有需要⽤到的资源，以便中断服务结束时能恢复被中断进程的执⾏。 引起上下⽂切换的原因有哪些？ 对于抢占式操作系统⽽⾔， ⼤体有⼏种：

中断是指CPU执⾏程序时，由于发⽣了某种随机的事件(外部或内部)，引起CPU暂时中断正在运⾏的程 序，转去执⾏⼀段特殊的服务程序(称为中断服务程序或中断处理程序)，以处理该事件，该事件处理完后⼜ 返回被中断的程序继续执⾏。引⼊中断的原因有以下⼏点：

负载和CPU利⽤率都是衡量CPU性能的指标，那么CPU利⽤率⾼的话负载⼀定⾼吗？要回答这个问题⾸先 要CPU资源在什么情况下会被消耗，CPU利⽤率其实是指为了处理进程抢占CPU时间⽚的⽐例，也就是只 有处于运⾏状态的进程才会获得时间⽚，从⽽造成CPU利⽤率的上升，⽽所需CPU时间⽚的多少取决于进 程中需要CPU运算逻辑的复杂程度。⽽负载是指运⾏队列中等待和运⾏的进程数的总和，在负载很⾼时， 可能是出于等待运⾏的进程数较多，这些进⾏并不会占⽤过多的时间⽚，队列中进程消耗的CPU资源也有 可能只是集中在某⼏个对CPU运算依赖较⾼的⼏个进程上。所以CPU利⽤率和负载之间并没有硬性的⽐例 关联关系，衡量CPU性能时要同时关注两个性能指标，综合考虑。

遇到CPU使⽤率⾼时，⾸先确认CPU是消耗在哪⼀块，如果是内核态占⽤CPU较⾼：

关于CPU的经验指标，可以作为参考：