并行系统学习之路(一)---- 介绍

这学期选了一门并行系统的课程,打算讲所学知识稍微整理一下记录下来,以便以后复习。内容主要侧重于实际编程。

基本概念

并行机器的基本分类

  • SISD(无并行性)
  • SIMD(ARC使用该架构)
  • MIMD
    其中I指的是Instruction, D指的是Data。

Moore’s Law

电路上可容纳的晶体管数目,约每隔两年就会增长一倍(可扩展至各种事物)

Amdahl’s law

系统十分庞大,我们需要把各个影响系统性能的因素分离出来一一优化,必要时找出性价比最高的因素进行优化。并给出计算公式,详情见链接

Gustafson’s Law

与Amdahl法则相似的另一个公式

Little’s law

在一个稳定的系统中,平均的客户数(访问该系统的客户)等于客户到达该系统的平均速率乘以客户在该系统中花费的平均时间

编程架构

本系列博客将使用NCSU的arc系统做为程序运行的环境,该结构的架构图如下:

用户可以通过ssh连接到head node,head node可以提交batch任务至计算节点执行,或者直接登陆值计算机节点执行任务。
arc_arch

下一章使用MPI编写的程序将会在此环境中执行。