显卡：嵌有GPU的集成电路，因其和CPU的差别，相较于CPU用于复杂的串行计算（拥有Control 单元及较大的缓存），GPU主要用于简单的并行计算（有更多的ALU）。CPU与GPU的差别如下图所示（取自CUDA官方），

显卡驱动：GPU本身来说是一个硬件，通俗来说，显卡驱动为GPU与OS交流的桥梁。

CUDA：现目前的显卡计算能力已经远超CPU，不满足于其只是单纯的用作图像处理，但直接操作GPU又过于复杂，因此英伟达推出用于自家GPU的并行计算框架（可理解为驱动的延伸），在 CUDA 的架构下，一个程序分为两个部份：host 端和 device 端。Host 端是指在 CPU 上执行的部份，而 device 端则是在显示芯片上执行的部份。Device 端的程序又称为 “kernel”。通常 host 端程序会将数据准备好后，复制到显卡的内存中，再由显示芯片执行 device 端程序，完成后再由 host 端程序将结果从显卡的内存中取回。

———————————————— 版权声明：本文为CSDN博主「AI之路」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/u014380165/article/details/77340765