大型并行机系统一般可分为6类机器：单指令多数据流SIMD（single instruction multiple data）；并行向量处理机PVP（parallel vector processor）；对称多处理机SMP（symmetric multiprocessor）；大规模并行处理机MPP（massively parallel processor）；工作站机群COW（cluster of workstations）和分布共享存储多处理机DSM（distributed shared memory）；SIMD计算机多为专用，其余的五种均属于多指令多数据流计算机。

分为3大类：

共享存储多处理机系统、分布存储多处理机系统、机群系统

这样的系统中包含了少量的高性能专门设计定制的向量处理器VP，每个至少具有1Gflops的处理能力，系统中使用专门设计的高带宽的交叉开关网络将VP连向共享存储模块，存储器可以兆字节每秒的速度向处理器传送数据这样的机器通常不使用高速缓存而使用大量向量寄存器和指令缓冲器。

SMP（symmetric multiprocessor， 对称多处理机），这种并行计算机结构，多个处理器共享存储器，这种结构在现今的并行服务器中几乎普遍采用。 

SMP系统使用商品微处理器（具有片上和外置高速缓存），它们经由高速总线（或交叉开关）连向共享存储器。主要应用于商务，数据库、数据仓库、在线事务处理系统等。重要的是对称，每个处理器等同访问共享存储器、I/O设备和操作系统服务。正是对称，才能拓展并行性，也正是共享存储，限制系统中的处理器不能太多（一般少于64个），同时总线和交叉开关互连一旦做成也难于拓展。

特性：

大多数商用的SMP系统都是基于总线连接的，占用了并行计算机很大的市场，但SMP存在以下的缺点：

MPP (Massively Parallel Processing)，意为大规模并行处理系统，这样的系统是由许多松耦合处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线、内存、硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。

MPP一般指超大型（very large scale）计算机系统，它具有如下特性：

分布式共享存储器多处理机，高速缓存目录DIR用于支持分布高速缓存的一致性，DSM和SMP的主要差别是，DSM在物理上有分布在各个节点中的局存，从而形成了共享存储器。对用户而言，系统硬件和软件提供了一个单地址的编程空间。DSM相对于SMP的优越性在于编程容易。

COW

工作站机群，在有些情况下，机群往往是低成本的变形的MPP。COW的重要界线和特征是：

现今，MPP和COW之间的界线越来越模糊，机群相对于MPP有性价比高的优势，所以在发展可扩放并行计算机方面呼声很高。

主要特点有：

这种系统由于高度共享资源而称为紧耦合系统，当所有的处理器都能等同地访问所有I/O设备、能同样地运行执行程序时称为对称多处理机；如果只有一台或一组处理器，它能执行操作系统并能操纵I/O，而其余的处理器无I/O能力，只在主处理器的监控之下执行用户代码，这时称为非对称处理机。

APRAM模型中的指令类型

主要特点：

主要特点：

它实际上是将一些SMP机器作为一个单节点而彼此连接起来所形成的一个较大的系统，主要特点是：

在一个分布存储的计算机系统中，如果所有的存储器都是私有的、仅能由其处理器访问就称为NORMA。  每个节点都是由处理器、本地存储器、I/O外设组成的自治计算机。

主要特点是：

算法是对解决问题的描述，它是一系列步骤的有序并且有限的集合。

并行算法是一些可同时执行的进程的集合，这些进程相互协调和相互作用从而达到给定问题的求解。

数值计算指基于代数关系运算的一类诸如矩阵运算、多项式求值、求解线性方程组等数值计算问题。求解数值计算问题的算法称为数值算法。

非数值计算指基于比较关系运算的诸如排序、选择、搜索、匹配等符号处理问题。求解非数值计算问题的算法称为非数值算法。

同步算法指算法的诸进程的执行必须相互等待的一类并行算法，诸进程的相互协调。

异步算法指算法的诸进程的执行不必相互等待的一类并行算法。

分布算法指通信链路连接的多个节点，协同完成问题求解的一类并行算法。

如此，在局域网环境下进行的计算为分布计算，工作站机群环境下进行的计算为网络计算，基于internet的计算称为元计算。

确定算法指算法的每一步都能明确地指明下一步应该行进的一种算法。

随机算法指算法的每一步随机地从指定范围内选取若干参数，由其来确定算法的下一步走向的一种算法。

运行时间：运行是时间就是算法运行在给定模型上求解问题所需的时间（主要是输入规模n的函数），通常包含计算时间和通行时间，分别用计算时间步和选路时间步作单位。

处理器数p(n)：它是求解问题所用的处理器数目，通常p（n）=n的（1-x）次方，其中0