KVM基本结构有两部分组成。一个是KVM Driver，已经成为Linux 内核的一个模块。负责虚拟机的创建，虚拟内存的分配，虚拟CPU寄存器的读写以及虚拟CPU的运行等。另外一个是稍微修改过的Qemu，用于模拟PC硬件的用户空间组件，提供I/O设备模型以及访问外设的途径。

KVM基本结构如图1所示。其中KVM加入到标准的Linux内核中，被组织成Linux中标准的字符设备(/dev/kvm)。Qemu通过KVM提供的LibKvm应用程序接口，通过ioctl系统调用创建和运行虚拟机。KVM Driver使得整个Linux成为一个虚拟机监控器。并且在原有的Linux两种执行模式(内核模式和用户模式)的基础上，新增加了客户模式，客户模式拥有自己的内核模式和用户模式。在虚拟机运行下，三种模式的分工如下： 客户模式：执行非I/O的客户代码。虚拟机运行在客户模式下。 内核模式：实现到客户模式的切换（通过vm exit 和vm entry）。处理因为I/O或者其它指令引起的从客户模式的退出。KVM Driver工作在这种模式下。 用户模式：代表客户执行I/O指令Qemu运行在这种模式下。 在KVM模型中，每一个Guest OS 都作为一个标准的Linux进程，可以使用Linux的进程管理指令管理。

在图1中./dev/kvm在内核中创建的标准字符设备，通过ioctl系统调用来访问内核虚拟机，进行虚拟机的创建和初始化；kvm_vm fd是创建的指向特定虚拟机实例的文件描述符，通过这个文件描述符对特定虚拟机进行访问控制；kvm_vcpu fd指向为虚拟机创建的虚拟处理器的文件描述符，通过该描述符使用ioctl系统调用设置和调度虚拟处理器的运行。

KVM的基本工作原理：用户模式的Qemu利用接口libkvm通过ioctl系统调用进入内核模式。KVM Driver为虚拟机创建虚拟内存和虚拟CPU后执行VMLAUCH指令进入客户模式。装载Guest OS执行。如果Guest OS发生外部中断或者影子页表缺页之类的事件，暂停Guest OS的执行，退出客户模式进行一些必要的处理。然后重新进入客户模式，执行客户代码。如果发生I/O事件或者信号队列中有信号到达，就会进入用户模式处理。KVM采用全虚拟化技术。客户机不用修改就可以运行。

Intel 在2006年发布了硬件虚拟化技术。其中支持X86体系结构的称为Intel VT-x技术。ADM称为SVM技术。 VT-x引入了一种新的处理器操作，叫做VMX（Virtual Machine Extension），提供了两种处理器的工作环境。VMCS结构实现两种环境之间的切换。VM Entry使虚拟机进去客户模式，VM Exit使虚拟机退出客户模式。

VMM调度Guest OS执行时，Qemu通过ioctl系统调用进入内核模式，在KVM Driver中通过get_cpu获得当前物理CPU的引用。之后将Guest状态从VMCS中读出。并装入物理CPU中。执行VMLAUCH指令使得物理处理器进入非根操作环境，运行客户代码。 当Guest OS执行一些特权指令或者外部事件时，比如I/O访问，对控制寄存器的操作，MSR的读写数据包到达等。都会导致物理CPU发生VMExit，停止运行Guest OS。将Guest OS保存到VMCS中，Host状态装入物理处理器中，处理器进入根操作环境，KVM取得控制权，通过读取VMCS中VM_EXIT_REASON字段得到引起VM Exit的原因。从而调用kvm_exit_handler处理函数。如果由于I/O获得信号到达，则退出到用户模式的Qemu处理。处理完毕后，重新进入客户模式运行虚拟CPU。如果是因为外部中断，则在Lib KVM中做一些必要的处理，重新进入客户模式执行客户代码。

KVM使用影子页表实现客户物理地址到主机物理地址的转换。初始为空，随着虚拟机页访问实效的增加，影子页表被逐渐建立起来，并随着客户机页表的更新而更新。在KVM中提供了一个哈希列表和哈希函数，以客户机页表项中的虚拟页号和该页表项所在页表的级别作为键值，通过该键值查询，如不为空，则表示该对应的影子页表项中的物理页号已经存在并且所指向的影子页表已经生成。如为空，则需新生成一张影子页表，KVM将获取指向该影子页表的主机物理页号填充到相应的影子页表项的内容中，同时以客户机页表虚拟页号和表所在的级别生成键值，在代表该键值的哈希桶中填入主机物理页号，以备查询。但是一旦Guest OS中出现进程切换，会把整个影子页表全部删除重建，而刚被删掉的页表可能很快又被客户机使用，如果只更新相应的影子页表的表项，旧的影子页表就可以重用。因此在KVM中采用将影子页表中对应主机物理页的客户虚拟页写保护并且维护一张影子页表的逆向映射表，即从主机物理地址到客户虚拟地址之间的转换表，这样VM对页表或页目录的修改就可以触发一个缺页异常，从而被KVM捕获，对客户页表或页目录项的修改就可以同样作用于影子页表，通过这种方式实现影子页表与客户机页表保持同步。

一个机器只有一套I/o地址和设备。设备的管理和访问是操作系统中的突出问题、同样也是虚拟机实现的难题，另外还要提供虚拟设备供各个VM使用。在KVM中通过移植Qemu中的设备模型(Device Model)进行设备的管理和访问。操作系统中，软件使用可编程I/O（PIO）和内存映射I/O（MMIO）与硬件交互。而且硬件可以发出中断请求，由操作系统处理。在有虚拟机的情况下，虚拟机必须要捕获并且模拟PIO和MMIO的请求，模拟虚拟硬件中断。

捕获PIO：由硬件直接提供。当VM发出PIO指令时，导致VM Exit然后硬件会将VM Exit原因及对应的指令写入VMCS控制结构中，这样KVM就会模拟PIO指令。MMIO捕获：对MMIO页的访问导致缺页异常，被KVM捕获，通过X86模拟器模拟执行MMIO指令。KVM中的I/O虚拟化都是用户空间的Qemu实现的。所有PIO和MMIO的访问都是被转发到Qemu的。Qemu模拟硬件设备提供给虚拟机使用。KVM通过异步通知机制以及I/O指令的模拟来完成设备访问，这些通知包括：虚拟中断请求，信号驱动机制以及VM间的通信。

以虚拟机接收数据包来说明虚拟机和设备的交互。

KVM虚拟机创建和运行虚拟机分为用户态和核心态两个部分，用户态主要提供应用程序接口，为虚拟机创建虚拟机上下文环境，在libkvm中提供访问内核字符设备/dev/kvm的接口；内核态为添加到内核中的字符设备/dev/kvm，模块加载进内核后即可进行接口用户空间调用创建虚拟机。在创建虚拟机过程中，kvm字符设备主要为客户机创建kvm数据机构，创建该虚拟机的虚拟机文件描述符及其相应的数据结构以及创建虚拟处理器及其相应的数据结构。Kvm创建虚拟机的流程如图4所示。

首先申明一个kvm_context_t 变量用以描述用户态虚拟机上下文信息，然后调用kvm_init()函数初始化虚拟机上下文信息；函数kvm_create()创建虚拟机实例，该函数通过ioctl系统调用创建虚拟机相关的内核数据结构并且返回虚拟机文件描述符给用户态kvm_context_t数据结构；创建完内核虚拟机数据结构后，再创建内核pit以及mmio等基本外设模拟设备，然后调用kvm_create_vcpu()函数来创建虚拟处理器，kvm_create_vcpu()函数通过ioctl()系统调用向由vm_fd文件描述符指向的虚拟文件调用创建虚拟处理器，并将虚拟处理器的文件描述符返回给用户态程序，用以以后的调度使用；创建完虚拟处理器后，由用户态的QEMU程序申请客户机用户空间，用以加载和运行客户机代码；为了使得客户虚拟机正确执行，必须要在内核中为客户机建立正确的内存映射关系，即影子页表信息。因此，申请客户机内存地址空间后，调用函数kvm_create_phys_mem()创建客户机内存映射关系，该函数主要通过ioctl系统调用向vm_fd指向的虚拟文件调用设置内核数据结构中客户机内存域相关信息，主要建立影子页表信息；当创建好虚拟处理器和影子页表后，即可读取客户机到指定分配的空间中，然后调度虚拟处理器运行。调度虚拟机的函数为kvm_run()，该函数通过ioctl系统调用调用由虚拟处理器文件描述符指向的虚拟文件调度处理函数kvm_run()调度虚拟处理器的执行，该系统调用将虚拟处理器vcpu信息加载到物理处理器中，通过vm_entry执行进入客户机执行。在客户机正常运行期间kvm_run()函数不返回，只有发生以下两种情况时，函数返回：1，发生了I/O事件，如客户机发出读写I/O的指令；2，产生了客户机和内核KVM都无法处理的异常。I/O事件处理完毕后，通过重新调用KVM_RUN()函数继续调度客户机的执行。

该函数原型为： kvm_context_t kvm_init(struct kvm_callbacks *callbacks,void *opaque);

参数：callbacks为结构体kvm_callbacks变量，该结构体包含指向函数的一组指针，用于在客户机执行过程中因为I/O事件退出到用户态的时候处理的回调函数(后面会分析)。参数opaque一般未使用。 函数执行基本过程：打开字符设备dev/kvm,申请虚拟机上下文变量kvm_context_t空间，初始化上下文的基本信息：设置fd文件描述符指向/dev/kvm、禁用虚拟机文件描述符vm_fd(-1) 设置I/O事件回调函数结构体，设置IRQ和PIT的标志位以及内存页面记录的标志位。 主要相关数据结构：

当客户机执行I/O事件或者停机操作等事件时，KVM会交给用户态的QEMU模拟外部I/O事件，调用这个结构体指向的相关的函数进行处理。

函数kvm_create()：该函数主要用于创建一个虚拟机内核环境。该函数原型为： int kvm_create(kvm_context_t kvm,unsigned long phys_mem_bytes, void **phys_mem); 参数：kvm_context_t 表示传递的用户态虚拟机上下文环境，phys_mem_bytes表示需要创建的物理内存的大小，phys_mem表示创建虚拟机的首地址。这个函数首先调用kvm_create_vm()分配IRQ并且初始化为0,设置vcpu[0]的值为-1，即不允许调度虚拟机执行。然后调用ioctl系统调用ioctl(fd,KVM_CREATE_VM,0)来创建虚拟机内核数据结构struct kvm。

系统调用函数ioctl(fd,KVM_CREATE_VM,0)，用于在内核中创建和虚拟机相关的数据结构。该函数原型为： Static long kvm_dev_ioctl(struct file *filp，unsigned int ioctl， unsigned long arg);其中ioctl表示命令。这个函数调用kvm_dev_ioctl_create_vm()创建虚拟机实例内核相关数据结构。该函数首先通过内核中kvm_create_vm()函数创建内核中kvm上下文struct kvm，然后通过函数 Anno_inode_getfd(“kvm_vm”,&kvm_vm_fops,kvm,0)返回该虚拟机的文件描述符，返回给用户调用函数，由2中描述的函数赋值给用户态虚拟机上下文变量中的虚拟机描述符kvm_vm_fd。

内核创建虚拟机kvm对象后，接着调用kvm_arch_create函数用于创建一些体系结构相关的信息，主要包括kvm_init_tss、kvm_create_pit以及kvm_init_coalsced_mmio等信息。然后调用kvm_create_phys_mem创建物理内存，函数kvm_create_irqchip用于创建内核irq信息，通过系统调用ioctl(kvm->vm_fd,KVM_CREATE_IRQCHIP)。

函数kvm_create_vcpu()：用于创建虚拟处理器。 原型： int kvm_create_vcpu(kvm_context_t kvm, int slot)； 参数：kvm表示对应用户态虚拟机上下文，slot表示需要创建的虚拟处理器的个数。 该函数通过ioctl系统调用ioctl(kvm->vm_fd,KVM_CREATE_VCPU，slot)创建属于该虚拟机的虚拟处理器。该系统调用函数： Static init kvm_vm_ioctl_create_vcpu(struct *kvm, n) 参数kvm为内核虚拟机实例数据结构，n为创建的虚拟CPU的数目。

函数kvm_create_phys_mem(): 用于创建虚拟机内存空间. 原型： Void * kvm_create_phys_mem(kvm_context_t kvm,unsigned long phys_start,unsigned len,int log,int writable); 参数：kvm 表示用户态虚拟机上下文信息，phys_start为分配给该虚拟机的物理起始地址，len表示内存大小，log表示是否记录脏页面，writable表示该段内存对应的页表是否可写。 该函数首先申请一个结构体kvm_userspace_memory_region, 然后通过系统调用KVM_SET_USER_MEMORY_REGION来设置内核中对应的内存的属性。该系统调用函数原型： Ioctl(int kvm->vm_fd，KVM_SET_USER_MEMORY_REGION，&memory)； 参数：第一个参数vm_fd为指向内核虚拟机实例对象的文件描述符，第二个参数KVM_SET_USER_MEMORY_REGION为系统调用命令参数，表示该系统调用为创建内核客户机映射，即影子页表。第三个参数memory表示指向该虚拟机的内存空间地址。系统调用首先通过参数memory通过函数copy_from_user从用户空间复制struct_user_momory_region 变量，然后通过kvm_vm_ioctl_set_memory_region函数设置内核中对应的内存域。该函数原型： Int kvm_vm_ioctl_set_memory_region(struct *kvm,struct kvm_usersapce_memory_region *mem,int user_alloc);该函数再调用函数kvm_set_memory_resgion()设置影子页表。当这一切都准备完毕后，调用kvm_run()函数即可调度执行虚拟处理器。

函数kvm_run()：用于调度运行虚拟处理器。（会切换到客户模式，在客户模式下运行） 原型： Int kvm_run(kvm_context_t kvm,int vcpu, void *env) 该函数首先得到vcpu的描述符，然后调用系统调用ioctl(fd,kvm_run,0)调度运行虚拟处理器。Kvm_run函数在正常运行情况下并不返回，除非发生以下事件之一：一是发生了I/O事件，I/O事件由用户态的QEMU处理；一个是发生了客户机和KVM都无法处理的异常事件。KVM_RUN()中返回截获的事件，主要是I/O以及停机等事件。

KVM保证客户机正确执行的基本手段就是当客户机执行I/O指令或者其它特权指令时，引发处理器异常，从而陷入到根操作模式，由KVM Driver模拟执行，可以说，虚拟化保证客户机正确执行的基本手段就是异常处理机制。由于KVM采取了硬件辅助虚拟化技术，因此，和异常处理机制相关的一个重要的数据结构就是虚拟机控制结构VMCS。

VMCS控制结构分为三个部分，一个是版本信息，一个是中止标识符，最后一个是VMCS数据域。VMCS数据域包含了六类信息：客户机状态域，宿主机状态域，VM-Entry控制域，VM-Execution控制域VM-Exit控制域以及VM-Exit信息域。其中VM-Execution控制域可以设置一些可选的标志位使得客户机可以引发一定的异常的指令。宿主机状态域，则保持了基本的寄存器信息，其中CS:RIP指向KVM中异常处理程序的地址。是客户机异常处理的总入口，而异常处理程序则根据VM-Exit信息域来判断客户机异常的根本原因，选择正确的处理逻辑来进行处理。

vmx.c文件是和Intel VT-x体系结构相关的代码文件，用于处理内核态相关的硬件逻辑代码。在VCPU初始化中(vmx_vcpu_create)，将kvm中的对应的异常退出处理函数赋值给CS:EIP中，在客户机运行过程中，产生客户机异常时，CPU根据VMCS中的客户机状态域装载CS:EIP的值，从而退出到内核执行异常处理。在KVM内核中，异常处理函数的总入口为： static int vmx_handle_exit(struct kvm_run *kvm_run, struct kvm_vcpu *vcpu)； 参数：kvm_run,当前虚拟机实例的运行状态信息，vcpu,对应的虚拟cpu。 这个函数首先从客户机VM-Exit信息域中读取exit_reason字段信息，然后进行一些必要的处理后，调用对应于函数指针数组中对应退出原因字段的处理函数进行处理。 函数指针数组定义信息：

这是一组指针数组，用于处理客户机引发异常时候，根据对应的退出字段选择处理函数进行处理。例如EXIT_REASON_EXCEPTION_NMI对应的handle_exception处理函数用于处理NMI引脚异常，而EXIT_REASON_EPT_VIOLATION对应的handle_ept_violation处理函数用于处理缺页异常。

KVM给客户机呈现了一个从0开始的连续的物理地址空间，成为客户机物理地址空间，在宿主机中，只是由KVM分配给客户机的宿主机物理内存的一部分。客户机中为应用程序建立的客户机页表，只是实现由客户机虚拟地址到客户机物理地址的转换（GVA-GPA），为了正确的访问内存，需要进行二次转换，即客户机物理地址到宿主机物理地址的转换（GPA-HPA），两个地址转换，前者由客户机负责完成，后者由VMM负责完成。为了实现客户机物理地址到主机物理地址的地址翻译，VMM为每个虚拟机动态维护了一张从客户机物理地址到宿主机物理地址的映射关系表。客户机OS所维护的页表只是负责传统的客户机虚拟地址到客户机物理地址的转换。如果MMU直接装在客户机操作系统所维护的页表进行内存访问，硬件则无法争取的实现地址翻译。

影子页表是一个有效的解决办法。一份影子页表与一份客户机操作系统的页表相对应，作用是实现从客户虚拟机地址到宿主机物理地址的直接翻译。这样，客户机所能看到和操作的都是虚拟MMU，而真正载入到物理MMU的是影子页表。如图5所示。 由于客户机维护的页表真正体现在影子页表上，因此，客户机对客户机页表的操作实质上反映到影子页表中，并且由VMM控制，因此，影子页表中，对于页表页的访问权限是只读的。一旦客户机对客户机页表进行修改，则产生页面异常，由VMM处理。

影子页表的结构：以x86的两级页表为例。客户机物理帧号GFN和宿主机物理帧号MFN是一一对应的，而宿主机必须要另外负责创建一个页用于CR3寄存器指向的影子页表SMFN。通常通过hash表实现MFN和SMFN之间的计算。影子页表的建立和修改过程交错在客户机对客户机页表的创建过程中。

影子页表的缺页异常处理：当发生缺页异常时，产生异常条件并被VMM捕获，让VMM发现客户机操作系统尚未给客户机虚拟机地址分配客户机物理页，那么VMM首先将缺页异常传递给客户机操作系统，由客户机操作系统为这个客户机虚拟地址分配客户机物理页，由于客户机操作系统分配客户机物理页需要修改其页表，因为又被VMM捕获，VMM更新影子页表中相应的目录和页表项，增加这个客户机虚拟地址到分配的宿主页的映射。如果产生异常时，VMM发现客户机操作系统已经分配给了相应的客户机物理页，只是写权限造成写异常，则VMM更新影子页表中的页目录和页表项，重定向客户机虚拟地址页到宿主机页的映射。客户机缺页异常处理逻辑流程如图6所示。

由4中说明的异常处理逻辑中，vmx_handle_exit函数用于处理客户机异常的总入口程序，KVM根据退出域中的退出原因字段，调用函数指针数据中对应的处理函数进行处理，在缺页异常中，处理函数为handle_ept_violation。该函数调用kvm_mmu_page_fault函数进行缺页异常处理。