使用任何软件都绕不过去的问题：硬件资源分配（CPU和内存）， 只有可以控制资源的分配，才能保证资源高效利用。 K8S做到了， 使用K8S部署服务，可以为Pod指定CPU和内存的使用， 保证集群节点资源占用是可控的， 一方面，为不同的服务配置不同的资源， 另一方面，高效（充分）利用节点资源， 想要正确使用资源配置，需要从理论学起， 分享如下，帮助读者学习如何配置K8S的资源分配。 官网文档：https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/

我们可以设定某个Pod中容器的资源使用，比如CPU和内存资源，等等。 为Pod中的容器设定资源时，kube-scheduler根据需要的资源信息来决定将Pod部署在哪个节点（Node）。当为某个容器设定了资源上限时，kubelet会严格控制容器的资源使用，让其占用设定的资源范围内运行。kubelet也会为容器保留所需要的最少系统资源，即容器运行同样需要资源，不止是容器中服务需要硬件资源。

如果Pod运行的节点（Node）有“足够”可用的资源，容器使用的资源可以比设定的资源下限多，但是，不能比设定的上限资源多。 例如，容器设定的内存资源下限（memory）为256MiB，而节点（Node）有8GiB的内存，并且没有其他Pod使用，此时，该容器可以申请更多的内存使用。 如果容器设定的资源上限（memory）为4GiB，kubelet（和容器运行时）会强制执行该上限逻辑，运行时会阻止容器使用比设定的资源上限多的资源。如果容器中的进程尝试使用更多的内存，系统内核会终止资源分配的进程，并抛出内存溢出（OOM）错误。 资源限制有两种实现方式： （1）响应式：系统发现违规行为直接干预； （2）强制干预：系统阻止容器超过资源上限。 同样的限制，不同的运行时有不同的实现方式。 注意：如果为资源指定了上限值，但是没有指定下限值，并且没有为资源配置默认的准入时间机制，Kubernetes则会将上限值作为下限值使用。

Kubernetes中可资源的类型有CPU和内存，资源的配置按照各自单位进行，CPU单位为Kubernetes可用的CPU个数，表示计算处理，内存以字节单位指定。Linux工作负载中，可以配置大页资源，大页是Linux的特色之一，节点内核分配的内存块可以大于默认的页尺寸。 比如，系统的默认页尺寸为4KiB，可以指定上限为80Mi，即hugepages-2Mi: 80Mi。如果容器分配超过40个2MiB大页（总量80MiB），会导致分配失败。 *注意：不能过度使用hupages-资源，这是区别于cpu和内存资源的地方。 CPU和内存统称为计算资源或者资源，计算资源的数量是可观测的，这些资源是可以申请、分配和消耗的，与API资源不同的是，计算资源是固定的物理资源（确定的运行机器中），不可实时变更，而像Pod或者Service这些对象资源是可以读取并通过Kubernetes API服务实时修改的。

对于每个容器，可以指定资源的上限和下限，包括：

虽然可以为每个容器配置资源的上限和下限，但是，仍要全面了解配置Pod资源上限和下限的意义。对于特殊的资源，Pod的资源上限/下限是Pod中容器的资源上限/下限的总和。

CPU单元中CPU资源的上限和下限是可观测的，Kubernetes中，1个CPU单元对应物理机的一个CPU核或者1个虚拟核，这取决于节点（Node）在是物理主机还是者物理机中运行的虚拟主机。

资源下限可以配置为小数，为容器配置的CPU下限spec.containers[].resources.requests.cpu为0.5时，使用半个CPU核（与1个核相比）。于CPU资源的单位而言，配置0.1与100m等价，即使用100毫个CPU，或者100毫个核。 配置的CPU资源是固定且确定的，比如500m的CPU资源无论在单核、双核或48核的机器都是相同的。 注意：Kubernetes可配的CPU资源最小粒度为1m，这对使用毫CPU单位的CPU资源且小于1.0或者1000m的情况很有用，比如，使用5m而不是0.005。

内存资源的上限和下限的单位是字节（bytes），配置内存资源可以直接使用整数或者带后缀的数据，如E、P、T、G、M、k。也可以使用两个字符的后缀，与前面的含义相同，如Ei、Pi、Ti、Gi、Mi、Ki。 样例，相同值，不同的格式：

后缀格式说明，400m即0.4bytes，400mebibytes（400Mi）等价400megabytes（400M）。

Pod中的两个容器资源配置如下。两个容器的CPU和内存资源上限分别为0.25个CPU、64MiB的内存，资源上限为0.5个CPU和128MiB的内存。

创建Pod时，Kubernetes的调度器为Pod的运行选择一个节点（Node），在物理上，每个节点为Pod提供CPU和内存资源提供的资源都是有上限的。调度器为确保资源正确分配，为容器调配的CPU和内存总和不大于节点可提供的资源。即使某个Pod的容器运行需要的物理机CPU和内存很少，调度器仍然可以在检查物理机资源是强制失败，即不分配资源，放弃启动容器服务。这样可有效保护运行的服务后续使用资源增加时正常运行，比如，请求高峰期，保证服务正常。

kubelet启动Pod中的容器时，kubelet将容器的CPU和内存上限和下限传递给容器运行时。 Linux系统中，容器运行时通常配置内核cgroups来应用并强制执行定义的上限。

如果容器运行在配置的内存下限中，但是节点（Node）内存日趋紧张（不够用），容器的Pod会被强制剔除。 容器可能允许，也可能不允许长时间超过CPU上限值运行，然而容器运行时不会因为过多使用CPU终止Pod或者容器。

kubelet汇报Pod资源使用情况，并传给Pod的status。 如果集群中有监控工具，Pod资源使用数据可以通过测量API直接获取，也可以通过监控工具获取。

节点有本地临时存储，由本地可写设备或RAM支持。“临时”意味着不保证持久化。 Pod使用临时本地存储来缓存、存储日志。kubelet可以为Pod提供暂存空间，即使用的本地临时存储挂载emptyDir卷到容器中。 kubelet同样可以使用这种存储空间保留节点级别的容器日志，容器镜像和运行中镜像的可写图层。 注意：如果节点失败，临时存储空间的数据会丢失。

节点中Kubernetes支持两种本地临时存储配置。

单文件系统 该配置中，将所有的临时本地数据（emptyDir卷、可写图层、容器镜像、日志）放在一个文件系统。配置kubelet最有效的方式为：将文件系统给Kubernetes数据专用。 kubelet将节点级别的容器日志写入文件系统，如同写入临时存储。 kubelet将日志写入配置的日志目录（默认/var/log），同时有一个基础目录存储其他本地数据（默认为/var/lib/kubelet）。 通常，/var/lib/kubelet和/var/log是系统根文件系统，kubelet的设计考虑到了这种布局。

双文件系统 节点的文件系统，用于存储来自运行Pod的日志和emptyDir文件。 kubelet同样会将节点级别的容器日志写入到第一文件系统，如同写入到临时存储。 可以使用不同的逻辑存储设备来支持隔离文件系统，这些配置中，告知kubelet放置容器镜像图层和可写图层的目录位于第二个文件系统上。 第一文件系统不会存储任何镜像图层或可写图层。

kubelet可以检测本地存储的使用量，通过如下提供：

注意：kubelet跟踪的tmpfs emptyDir卷作为容器内存使用，而不是本地临时存储。

通过配置ephemeral-storage管理本地临时存储。 Pod的每个容器可以指定上限和下限，如下：

需要注意后缀的使用，400m等价0.4bytes，400mebibytes（400Mi）等价400megabytes（400M）。

下面的样例中，Pod有连个容器，每个容器配置了2GiB的本地临时存储下限，4GiB的本地临时存储上限，因此，该Pod的本地存储下限为4GiB，上限为8GiB。

创建Pod时，Kubernetes调度器为Pod的运行指定节点，每个节点为Pod提供的本地临时存储是有限的。 调度器会保证容器调度中分配的资源总和在节点可提供的上限范围内。

kubelet将本地临时存储作为资源进行管理，kubelet在如下方面观测存储用量：

如果Pod使用的临时存储空间高于设定的上限值，kubelet会触发驱逐Pod。 对于容器级别的隔离，如果容器可写的图层和日志使用的空间达到设定的上限，kubelet标记Pod为驱逐状态。 对于pod级别的隔离，kubelet通过汇总Pod中所有容器的存储值来比对Pod的存储上限，作为进一步动作的依据。如果所有容器使用的临时存储超过设定的上限值，并且Pod的emptyDir卷超过全局的Pod存储上限，kubelet同样将Pod标记为驱逐状态。

注意：如果kubelet没有观测本地临时存储，Pod使用的临时存储超过本地存储上限时不会被标识为驱逐状态。然而，如果文件系统不足以存储可写容器图层、节点级别日志或者emptyDir卷，节点会由于本地存储不足，为自身添加“污点”，转为污点证人，该污点会触发驱逐，因为Pod不容忍污点。

kubelet提供两种观测Pod存储空间使用的方法：

周期扫描 kubelet周期执行，定期检查扫描的emptyDir卷、容器日志目录和可写的容器图层结果。 注意：这种方式，kubelet不会追踪已删除的文件的打开文件描述。如果在emptyDir卷中创建文件，并打开这个文件，在其打开时删除该文件，索引节点会在关闭文件前保留已删除的文件节点，但是，kubelet不会将该文件的占用的空间计入使用已使用空间。

文件系统项目配额 项目配额是操作系统级别的特性，为了管理文件系统存储空间使用。对于Kubernetes，可以开启项目配额来检测存储空间的使用。首先，要保证节点中文件系统支持的emptyDir卷可以提供项目配额功能，比如XFS和ext4fs均提供项目配额。 注意：项目配额允许监控存储空间使用，不会强制执行限制（没理解啥意思）。 Kubernetes使用的项目ID从1048576开始。使用的ID注册在/etc/projects和/etc/projid中注册。如果该范围内（0~1048576）的项目ID用于系统的其他功能，项目ID必须注册在/etc/projects和/etc/projid保证Kubernetes不会使用他们。 配额比目录扫描更快、更准确。为项目分配一个目录后，所有文件会在该项目的目录中创建，内核只需要追踪文件有多少个块被使用。某个文件被新建然后删除，但是有打开文件描述，仍然会计算文件的占用空间。配额追踪的记录精确到被删除的文件。 使用项目配额的方式：

通过LocalStorageCapacityIsolationFSQuotaMonitoring=ture启用kubelet配置的featureGates属性或者使用命令行：–feature-gates

确保根文件系统（或者运行时文件系统）开启项目配额。所有XFS文件系统支持项目配额，而ext4文件系统需要开启项目配额追踪（当文件系统没有挂载时）

扩展资源是kubernets.io域名之外的全限定资源名。允许集群运营商发布，并允许用户使用非Kubernetes内建资源。 使用外部资源有两步： （1）集群运营商必须发布扩展资源； （2）用户必须在Pod中请求扩展资源；

注意：上面的请求中，~1是字符/的编码结果，JSON-Patch操作路径值解析为JSON-Pointer，详见：IETF RFC 6901，第三部分

集群级别扩展资源不是绑定在节点的，通常由扩展调度器管理，调度器处理资源消耗和资源配额。 可以为扩展调度器指定其管理的扩展资源。 样例如下，从调度器配置的策略中可知，集群级别的扩展资源example.com/foo由扩展调度器处理。

用户在Pod中可以使用扩展资源（如同使用CPU和内存一样）。调度器负责资源核算，保证同时分配给Pod的资源不会超过可用量。 API服务将扩展资源的数量限制为整数。有效的数值：3，3000m及3Ki，无效的数据如0.5和1500m。 如果使用Pod中的扩展资源，需要将资源名称作为键映射到容器的属性：spec.containers[].resources.limits。 注意：扩展资源不可过度使用，因此上限和下限需要遵循当前容器的限制。

Pod的正常调度需要同时满足所有资源需求，如CPU、内存和扩展资源。如果资源不满足使用，Pod会一直处于PENDING状态。 如下样例中，Pod需要CPU的两个核，1个扩展资源（example.com/foo）。

如果调度器发现没有适合Pod的节点（Node），Pod会一直Pending，直到发现可用的节点。当调度器无法为Pod分配合适的节点时会触发告警事件，可以使用kubectl查看Pod事件：

结果：

上面的样例中个，Pod的名称为frontend，异常信息表明节点中没有足够的CPU使用，同类的资源不足有内存资源不足。对于资源不足，通常，有如下方案：

通过如下命令检查节点的容量和可分配的资源：

结果如下：

由结果可知，

如果Pod需要的CPU资源大于1.12核，内存高于6.23Gi，则该节点无法运行Pod。

容器或许因为资源有限而终止运行。因此需要检查容器是否因为资源问题而被终止，命令如下：

结果如下：

由结果可知，重启了5次（Restart Count 5）说明Pod的容器终止和重新启动了5次，原因OOMKilled表明容器使用的内存超过配置的上限值。 接下来可以检查代码是否有内存泄露，如果容器需要的资源确实比配置的高，则需要提高容器的内存上限配置。

核心： （1）资源配置类型：CPU和内存； （2）CPU单位：最少1m，换算：1核=1000m，可以配置hugepages；内存单位：bytes，同时可以使用E、P、T、G、M、k； （3）Pod申请资源时，可以指定下限和上限； （4）Pod中容器可以配置本地临时存储，同样有上限和下限，并且可以挂载到本机卷； （5）可以为Pod配置扩展资源； （6）如果Pod需要的资源大于配置的资源上限，会一直处于PENDING状态，如果节点资源不足，会将节点标记为污点节点，无法部署新的Pod。