OpenMP、MPI、CUDA总结

您所在的位置:网站首页 mpi并行计算是什么意思 OpenMP、MPI、CUDA总结

OpenMP、MPI、CUDA总结

2024-02-07 01:48| 来源: 网络整理| 查看: 265

文章目录 一、OpenMP1.1 多执行绪的概念1.2 多执行绪的程式1.3 OpenMP 的基本使用1.4 OpenMP使用详解 二、MPI (Message Passing Interface)三、 CUDA3.1 CUDA发展历程3.2 CUDA体系结构3.3 CUDA工具包3.4 nvcc C语言编译器3.5 CUDA的运算3.6 GPU并行计算过程

一、OpenMP

OpenMP是由OpenMP Architecture Review Board牵头提出的,并已被广泛接受的,用于共享内存并行系统的多线程程序设计的一套指导性注释(Compiler Directive)。OpenMP支持的编程语言包括C语言、C++和Fortran;而支持OpenMP的编译器包括Sun Compiler,GNU Compiler和Intel Compiler等。 OpenMP提供了对并行算法的高层的抽象描述,程序员通过在源代码中加入专用的pragma来指明自己的意图,由此编译器可以自动将程序进行并行化,并在必要之处加入同步互斥以及通信。当选择忽略这些pragma,或者编译器不支持OpenMP时,程序又可退化为通常的程序(一般为串行),代码仍然可以正常运作,只是不能利用多线程来加速程序执行。

        OpenMP提供的这种对于并行描述的高层抽象降低了并行编程的难度和复杂度,这样程序员可以把更多的精力投入到并行算法本身,而非其具体实现细节。对基于数据分集的多线程程序设计,OpenMP是一个很好的选择。同时,使用OpenMP也提供了更强的灵活性,可以较容易的适应不同的并行系统配置。线程粒度和负载平衡等是传统多线程程序设计中的难题,但在OpenMP中,OpenMP库从程序员手中接管了这两方面的部分工作,提高程序员们的开发效率。   但是,作为高层抽象,OpenMP并不适合需要复杂的线程间同步和互斥的场合。OpenMP的另一个缺点是不能在非共享内存系统(如计算机集群)上使用。在这样的系统上,MPI使用较多。

1.1 多执行绪的概念

        OpenMP是作为共享存储标准而问世的。它是为在多处理机上编写并行程序而设计的一个应用编程接口。它包括一套编译指导语句和一个用来支持它的函数库。   目前双核、四核、六核的 CPU 当道,而八核的CPU也已经面世多时,所以在多处理机上编写、运行并行程序会变得相当普遍。   对於一般单一执行绪(single thread)的程式,多核心的处理器并没有办法提升它的处理效能;不过对於多执行绪(multi thread)的程式,就可以透过不同的核心同时计算,来达到加速的目的了!简单的例子,以单执行绪的程式来说,一件事做一次要十秒的话,要做十次,都丢给同一颗核心做的话,自然就是10 秒 * 10 次,也就是 100 秒了;但是以多执行绪的程式来说,它可以把这一件事,分给两颗核心各自做,每颗核心各做 5 次,所以所需要的时间就只需要 50 秒!   当然,多执行绪的程式实际上没这么简单。在工作的切割、结合上,也是要多花时间的,所以在现实中,即使最佳状况,双核心的效能也不会是 1 + 1 = 2 这样的理想化。除此之外,也不是所有工作都是可以切割的!很多工作是有关联性的,这样如果直接切割给不同的处理核心各自去平行运算,出来的结果是肯定有问题的。而且,多执行绪的程式在编写、维护上,也都比单一执行绪的程式复杂上不少。   不过,如果电脑本身是多处理器、多核心处理器,或是处理器拥有像 Intel Hyper-Threading Technology 这类的能在同一个时间处理多个执行绪的功能的话,那把各自独立的工作由单一执行绪改成多执行绪,在执行的效率上,大多还是会有增进的!

1.2 多执行绪的程式

        写程式的时候该怎么去写多执行绪的程式呢?一般的方法,就是真的利用 thread 的控制,去实际在程式中去产生其他的 thread 来处理。像 POSIX Threads 这套 library,就是用来产生、控制执行绪的函式库。而像 Microsoft VisualStudio 2005 中,也有提供控制thread 的功能。这种方法,大多就是产生多个 thread,而再由主要的 thread 把工作拆开,分给各 thread 去运算,最後再由主要的 thread 回收结果、整合。   但是,实际上要去控制 thread 是满麻烦的~在程式的编写上,也会复杂不少;而如果我们只是想要把一些简单的回圈平行化处理,用 thread library 来控制,实在有点杀鸡用牛刀的感觉。这时候,用 OpenMP 就简单多了!OpenMP 是一种能透过高阶指令,很简单地将程式平行化、多执行绪化的API;在最简单的情形,甚至可以只加一行指令,就可以将回圈内的程式平行化处理了!

1.3 OpenMP 的基本使用

在编写使用OpenMP的程序时,则需要先include OpenMP的头文件:omp.h。 而要将 for 回圈平行化处理,该怎么做呢?非常简单,只要在前面加上一行#pragma omp parallel for就够了!   也可以实际用一段简单的程序,来弄清楚它的运作方式。

#include #include void Test(int n) {   for (int i = 0; i   for (int i = 0; i   //do nothing, just waste time   }   printf("%d, ", n); } int main(int argc, char* argv[]) {   #pragma omp parallel for    for (int i = 0; i


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3