定义串行程序运行时间为T串行，并行程序运行时间为T并行，则加速比(speedup)是：S = T并行 / T串行。

当加速比 S 等于并行计算的核数 p，则称该并行程序具有线性加速比(linear speedup)。实际上，我们不可能获得线性加速比，因为多个线程/进程总是会引入一些代价。

此外，定义 E = S/p 的值为并行程序的效率。一般希望，随着 p 的增加，S 越来越接近理想的线性加速比 p。但实际上，随着 p 的增加，并行程序的效率 S/p 会越来越小。

事实上，T并行、加速比 S、效率 E，均是依赖于 p，同时还依赖于问题的规模。一般，随着问题规模变大，加速比和效率增加。

如果一个技术可以处理规模不断增加的问题，那么它就是可扩展的。对于并行程序而言，可扩展性有明确定义。

假设我们运行一个并行程序，固定进程或线程数目、固定问题规模，得到一个效率值 E。现在我们增加程序所用的进程或线程数目，如果在问题规模也同比例增加情况下，该程序效率值一直都是 E，那么我们就称该程序是可扩展的。

如果在增加进程或线程个数时，可以维持固定效率，却不增加问题规模，那么程序成为强可扩展(strongly scalable)。如果在增加进程或线程个数时，只有以相同倍率增加问题规模才能保持效率值，那么程序就称为弱可扩展(weakly scalable)。