现代计算机为了满足高速度、低价格、大容量的需求，采用的存储结构几乎都是层级结构，从最靠近CPU的寄存器，到下一级集成在芯片上的若干级cache，到内存，到磁盘，到分布式文件系统等。有一些概念需要我们先有底：

下面的内容将基于上述概念。

对于理想寄存器来说，需要满足：访问时间近似于SRAM，存储容量和价格接近于磁盘。目前没有一种存储器能够满足以上要求，必须通过开发存储器的层次结构来实现。

有关于存储技术较为全面的介绍，请参考这里。

我们都知道，cache缓存来自内存的数据，使得CPU可以在很短时间内就取到所需要的数据。但是，我们还需要了解cache机制的原理。

cache如何组织数据？一般来讲有三种方式：直接映射、组相联和全相联。

每个存储器地址仅仅对应到cache中的唯一的一个位置，一般计算公式为：(块地址) 取模 (cache中的块数)。 由于cache中每个位置可能对应于主存多个不同的地址，如何知道cache中的数据项是否是所请求的字？我们可以在cache中增加一组标记，标记中包含了地址信息，利用这个地址信息，我们就能判断cache中的字是否就是所请求的字。标记只需包含地址的高位，也就是没有用来检索cache的那些位。

我们还需要检查cache块中确实包含的信息为有效。最常用的方法就是增加一个有效位来标记一个块是否含有一个有效地址。如果该位没有被设置，则不能使用该块中的内容。

下面是直接映射的一个例子，假设当前cache为空，共有8块：

上面其实就很形象地说明了，我们将一个地址划分为标记域和cache索引，一个简易的逻辑示意图如下： 只有当Cache对应的Index中的Valid位有效且Tag位与地址高位一致的时候，缓存命中。

写直达（Write-Through）： 数据写命中时，同时更新cache和主存。 写回（Write-Back）： 当写数据命中时，仅更新cache中的数据块。

CPU时间由程序执行的时钟周期数和存储器阻塞的时钟周期数组成。 下面是一个例子。 【假设指令Cache的缺失率为2%，数据Cache的缺失率为4%，缺失代价为100个clock cycle，处理器的CPI为2，Load/Store占全部36%的指令。则如果配置一个从不发生缺失的理想Cache，处理器的速度快多少？】

发生缺失的时钟周期数为：

实际CPI计算为2+2+1.44=5.44 因此，处理机的速度快5.44/2=2.72倍

我们定义： 平均存储器访问时间（AMAT）为：命中时间+ 缺失率 × 缺失代价。

一个块可以被放置在cache中的任何位置，这要求检查数据是否命中时，需要检索cache中所有的项，每个Cache项都需要比较器（开销大）。

组相联其实就是直接映射和全相联的一个折中，组相联将cache分成了若干组，这些组采用的是直接映射的方式；而组内包含若干块，这些块采用的是全相联的方式。

如下图是一个拥有8个块的cache被配置成直接映射、两路组相联、四路组相联、八路组相联的结构 一般来说，增加相联度可以降低缺失率，但是收益是逐级递减的。缺失率一般和相联度、缓存容量、算法设计有关。这里还要了解一下缺失在计算机系统中分成三类（3C模型）：

下图是多路组相联的Cache结构：

当我们必须将新数据加载到Cache中，而Cache中却又发生已有数据占用的情况，我们需要进行替换：

前面的讨论集中在如何提高存储器层次的性能上，但是不能忘记如果可信性不够，即使速度再快也毫无吸引力。 可信存储的度量标准：

虚拟机最早出现在上世纪60年代，虚拟机：

虚拟存储，这个概念一上来不是很容易就能理解。简单来说，可以理解为利用主存作为二级存储（磁盘）的 “cache”，也就是说内存地址可能会映射到硬盘上去。虚拟内存是计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续可用的内存（一个连续完整的地址空间），而实际上，它通常是被分隔成多个物理内存碎片，还有部分暂时存储在外部磁盘存储器上，在需要时进行数据交换。理解虚拟内存的关键，在于理解：对虚拟内存的定义是基于对地址空间的重定义的，即把地址空间定义为“连续的虚拟内存地址”，以借此“欺骗”程序，使它们以为自己正在使用一大块的“连续”地址。 在虚拟存储器中，我们之前称呼的“块”，变成了“页”，“缺失”变成了“缺页”。

一般来说，页的大小都是固定的。地址映射要做的一件事，就是要将 虚页号映射到物理页号。 虚拟内存也会发生缺页。如果发生了缺页，则必须从磁盘取回该页，这个过程花费的时间代价是巨大的，因此，对于虚拟存储，我们也要尽量降低缺页率。

页表保存着虚拟地址和物理地址之间转换关系。页表保存在主存中，通常使用虚页号来索引。CPU中的页表寄存器指向物理内存中存储的页表位置。每个程序都有它自己的页表，用来将程序的虚拟地址空间映射到主存中。一个页表的逻辑图如下面图示：

如果虚拟页的有效位为0，就会发生缺页故障。控制转移交给OS，OS在下一级存储器层次找到该页，然后决定将其放到主存中。由于我们无法提起获知存储器中的某一页什么时候将被替换出去，因此OS在创建进程的时候会在闪存或磁盘上为进程中所有的页创建空间，这个空间称为交换区。同时，它也会创建一个数据结构来记录每个虚拟页在磁盘上的存放位置。

所谓TLB，可以理解为是页表的Cache。因为页表存放在内存中，访问速度还是太慢；因此，我们把页表的子集放在Cache中，能够加快地址转换的速度。这个子集就是TLB，称为快表。快表的逻辑图示如下： 当TLB命中时，利用TLB将虚拟地址转换为物理地址是很简单的一件事情。但是处理TLB缺失和缺页要复杂得多。TLB缺失有下面两种可能性之一：

一旦OS知道引起缺页的虚拟地址，它必须完成以下三个步骤：

当从磁盘读页操作完成后，OS可以恢复原先引起缺页的进程状态，并且执行从异常返回的指令。

存储器层次研究的问题：

Cache设计的折中：