从程序员和算法设计者的角度来看，并行计算可以分为数据并行和任务并行。并行计算的基本架构并行计算科学的主要研究是空间并行，(2)指令间并行性:是指两条或两条以上的指令并行执行，SMP和DSW共享变量的单地址空间模型和MPP与集群间消息传递的多地址空间模型，并行编程模型逐渐收敛为三种标准模型:数据并行(如HPF)。
并行计算科学主要研究空间并行性。从程序员和算法设计者的角度来看，并行计算可以分为数据并行和任务并行。一般来说，数据并行比任务并行更容易处理，因为它主要是将一个大任务分解成相同的子任务。空间并行性导致了两类并行机的出现，根据Flynn的说法分为单指令流多数据流(SIMD)和多指令流多数据流(MIMD)。
MIMD机器可以分为五个常见的类别:并行向量处理器(PVP)、对称多处理器(SMP)、大规模并行处理器(MPP)、工作站集群(COW)和分布式共享存储处理器(DSM)。并行计算机有以下五种访问模型:统一访问模型(UMA)、非统一访问模型(NUMA)、全缓存访问模型(COMA)、统一缓存非统一存储访问模型(CCNUMA)和非远程存储访问模型(NORMA)。
目前并行编程类型逐渐收敛为两类:PVP、SMP、DSW共享变量的单地址空间模型和MPP、cluster消息传递的多地址空间模型。并行编程模型正逐渐收敛为三种标准模型:数据并行(如HPF)、消息传递(如MPI和PVM)和共享变量(如OpenMp)。现在人们希望高性能并行计算机应该
3、并行处理是指并行处理是一种可以在计算机系统中同时执行两个或两个以上进程的计算方法。并行处理可以同时处理同一程序的不同方面。一、并行处理技术并行处理是一种可以在计算机系统中同时执行两个或两个以上进程的计算方法。并行处理可以同时处理同一程序的不同方面。并行处理的主要目的是节省解决大型复杂问题的时间。为了使用并行处理，首先需要将程序并行化，也就是说，将工作的所有部分分配给不同的处理进程(线程)。
此外，并行并不能保证加速。理论上，n个并行处理的执行速度可能是单个处理器的n倍。第二，并行的概念。计算机系统中的并行可以在不同的层次上实现，大致可以分为:(1)指令内并行:是指指令执行中的所有微操作尽可能实现并行操作。(2)指令间并行性:是指两条或两条以上的指令并行执行。(3)任务处理并行化:是指将一个程序分解成多个可以并行处理的处理任务，使两个或两个以上的任务并行处理。
4、并行计算模型的PRAM模型pram(并行随机存取并行机)模型，又称共享存储的SIMD模型，是一种抽象的并行计算模型，直接由串行ram模型发展而来。在这个模型中，假设有一个容量无限的共享内存，有有限个或无限个功能相同的处理器，它们都具有简单的算术运算和逻辑判断功能。在任何时候，处理器都可以通过共享存储单元相互交互。
5、并行计算模型的BDM模型1996 J.F.JaJa等人提出了块分布式存储模型(BDM)。它是共享存储编程模式和基于消息传递的分布式存储系统之间的桥梁模型。主要的四个参数是:(1)P个处理器的数量；(2)τ处理器从发送访问请求到获得远程数据的最大延迟时间(包括准备请求的时间、请求包在网络中路由的时间、目的处理器收到请求的时间、包中m个连续字返回给原处理器的时间)；(3)M个本地存储器中的M个连续单词；(4)σ处理器向网络发送数据或从网络接收数据的时间。
6、并行计算模型的C3模型C3模型假设处理器不能同时发送和接收消息，其对override的性能分析分为两部分:计算单元CU，依赖于本地计算；通信单元COU取决于处理器发送和接收的数据量、消息的延迟和通信引起的拥塞。该模型考虑了两种路由(存储转发路由和蠕虫路由)和两种发送/接收原语(阻塞和非阻塞)对COU的影响。(1) Cl和Cp用于衡量网络拥塞对算法性能的影响；
(3)可以评估覆盖的时间复杂度，而无需用户指定调度细节；(4)类似于HPRAM模型的层次结构，C3模型为程序员提供了K级路由算法的思想，即将系统划分为K级子系统，各子系统的操作相互独立，用超步代替HPRAM中的子PRAM。(1)1)Cl度量的前提是同一通信对中的两个处理器在网络二分后应该位于不同的子网中。
