第3章 共享内存多处理器（Shared-Memory Multiprocessors: SMP Architecture）

一、导读

3.1 本章学习目标

理解对称多处理器（SMP）架构的基本结构，掌握所有处理器平等访问共享内存的工作原理

深入掌握缓存一致性问题的本质原因，理解为什么多处理器缓存会导致数据不一致

详细理解嗅探（Snooping）缓存一致性协议的工作机制，包括 MESI 协议的四种状态及其转换规则

理解目录（Directory）缓存一致性协议的设计思想，掌握其与嗅探协议在可扩展性方面的差异

掌握共享总线结构的工作原理及其带宽瓶颈，了解基于交叉开关（Crossbar）和片上网络（NoC）的替代方案

理解内存一致性模型对编程的影响，区分顺序一致性（Sequential Consistency）和释放一致性（Release Consistency）

了解 NUMA（非一致内存访问）架构的设计动机和基本结构，理解其与 UMA 架构的性能差异

能够分析 SMP 系统中的性能瓶颈，并提出相应的优化策略

3.2 为什么本章如此重要

共享内存多处理器是现代计算系统中最普遍的并行架构。从智能手机中的多核 SoC 到数据中心的多路服务器，共享内存架构无处不在。理解 SMP 架构的工作原理，是理解现代计算机系统性能特征的基础。

SMP 架构之所以重要，首先在于它提供了最简单的并行编程模型。程序员可以假设所有处理器共享同一个地址空间，通过读写共享变量进行通信，无需显式管理数据分布和消息传递。这种编程模型使得并行软件开发相对容易，也是 OpenMP 等共享内存编程工具得以广泛应用的硬件基础。

其次，SMP 架构中的缓存一致性问题是最核心的技术挑战。当每个处理器拥有私有缓存时，如何保证所有处理器看到一致的内存视图，是 SMP 系统设计的核心问题。缓存一致性协议的效率直接影响系统性能，其设计涉及硬件协议、互连网络和内存一致性模型等多个层面的协调。

此外，SMP 架构的扩展性问题是理解现代多核处理器设计的关键。传统共享总线结构在处理器数量增加时会遇到带宽瓶颈，这推动了交叉开关、片上网络和 NUMA 架构等创新方案的发展。理解这些演进过程，有助于理解当前多核处理器的设计决策。

3.3 核心问题引导

为什么每个处理器都需要私有缓存？如果所有处理器共享一个缓存会有什么问题？

缓存一致性问题是如何产生的？请举一个具体的例子说明两个处理器缓存同一变量时可能出现的错误。

MESI 协议中，当一个处理器要写入处于 Shared 状态的缓存行时，协议如何处理？这个过程的性能开销是什么？

嗅探协议为什么不适合大规模系统？目录协议如何解决可扩展性问题？

共享总线为什么成为 SMP 系统的性能瓶颈？交叉开关和片上网络如何改善这一问题？

UMA 和 NUMA 架构的主要区别是什么？在 NUMA 架构上编程需要注意什么？

顺序一致性模型对程序员和硬件分别有什么要求？为什么实际处理器通常不实现严格的顺序一致性？

现代多核处理器（如 AMD Zen 或 Intel Core）的缓存层次结构是怎样的？它们采用了哪种缓存一致性协议？

二、核心概念详解

3.1 SMP 架构的基本结构与设计原理（约700字）

对称多处理器（Symmetric Multiprocessor, SMP）架构是最直观的共享内存并行系统。在 SMP 中，多个处理器（通常称为核心或 CPU）通过互连网络共享同一块物理内存。所有处理器在硬件层面是平等的：每个处理器都有相同的内存访问能力，相同的 I/O 权限，没有主从之分。操作系统可以将任何任务分配给任何处理器执行。

SMP 架构的核心组件包括：处理器核心、缓存层次、互连结构和共享内存。每个处理器核心包含运算器和控制单元，负责执行指令。每个核心通常拥有私有的一级缓存（L1 Cache，分为指令缓存和数据缓存）和二级缓存（L2 Cache），以及可能共享的三级缓存（L3 Cache）。互连结构负责连接所有处理器和内存，早期的 SMP 使用共享总线，现代设计多采用交叉开关或片上网络。

SMP 架构的核心优势在于编程模型的简洁性。由于所有处理器共享同一个地址空间，线程可以在任意处理器上运行，访问任意内存地址。程序员只需要考虑同步问题（如何协调多个线程对共享数据的访问），而不需要关心数据分布（数据在哪个处理器的本地内存中）。

然而，SMP 架构面临的核心挑战是缓存一致性。为了提高性能，每个处理器都拥有私有缓存。当多个处理器缓存了同一内存位置的数据副本时，如果其中一个处理器修改了该数据，其他处理器的缓存副本就会变得过时（stale）。如果不解决这个问题，不同处理器将看到不同的内存值，导致程序行为错误。

另一个挑战是互连带宽。随着处理器数量增加，对共享内存的访问请求也增加。传统的共享总线结构在处理器数量超过 4 到 8 个时就会成为瓶颈。现代 SMP 系统采用更复杂的互连结构来提供更高的聚合带宽，但成本和复杂度也随之增加。

3.2 嗅探缓存一致性协议（约800字）

嗅探（Snooping）缓存一致性协议是最早也是最直观的缓存一致性解决方案。其基本思想是：所有缓存控制器都"嗅探"（监听）互连介质上的所有事务。当一个缓存检测到与自己缓存的某个地址相关的事务时，根据协议规则采取相应的行动。

嗅探协议依赖于广播互连。在基于总线的 SMP 系统中，所有处理器和内存都连接在同一条总线上，任何处理器的内存操作都会被所有其他处理器看到。这使得嗅探协议实现简单：每个缓存控制器只需要监听总线上的地址线，判断是否有自己关心的事务。

MESI 协议是最经典的嗅探协议，它定义了缓存行的四种状态：Modified（已修改）、Exclusive（独占）、Shared（共享）和 Invalid（无效）。

Modified 状态表示该缓存行已被当前处理器修改，与内存中的值不一致，且是唯一有效的副本。当其他处理器需要读取该地址时，当前处理器必须将修改后的值写回内存（或直接提供给请求方）。

Exclusive 状态表示当前处理器独占该缓存行，且数据与内存一致。其他处理器没有缓存该地址。处于 E 状态的缓存行可以在不通知其他处理器的情况下直接转为 M 状态（即执行写操作）。

Shared 状态表示多个处理器同时缓存了该地址，数据与内存一致。任何处理器要修改该地址时，必须先使其他处理器的副本无效。

Invalid 状态表示该缓存行未被使用，可以被分配给新的地址。

MESI 协议的典型操作流程如下：当处理器 A 读取一个地址时，如果该地址不在任何处理器的缓存中，A 获得 E 状态。如果处理器 B 也读取同一地址，A 和 B 都转为 S 状态。如果此时 B 要写入该地址，B 通过总线发送 invalidate 消息，A 的缓存行转为 I 状态，B 获得 M 状态。

嗅探协议的主要缺点是带宽开销。所有一致性事务都通过广播进行，即使只有两个处理器共享某个数据，事务也会通知所有处理器。当处理器数量增加时，总线上的事务数量急剧增加，导致总线拥塞和性能下降。因此，嗅探协议通常用于处理器数量较少（不超过 8 到 16 个）的系统。

3.3 目录缓存一致性协议（约700字）

目录（Directory）缓存一致性协议是为解决嗅探协议可扩展性问题而设计的。与嗅探协议的广播方式不同，目录协议为每个内存块维护一个目录条目（Directory Entry），记录哪些处理器缓存了该块以及它们的缓存状态。当需要通知相关处理器时，只向实际缓存了该块的处理器发送消息，避免了广播的带宽浪费。

目录条目的基本结构包括：有效位（Valid）、共享位（Shared）和共享者向量（Sharers Vector）。有效位指示该内存块是否被任何处理器缓存。共享位指示该块是被一个处理器独占还是被多个处理器共享。共享者向量是一个位向量，每一位对应一个处理器，指示该处理器是否缓存了该块。

目录协议的典型操作流程：当处理器 A 读取地址 X 时，请求发送到 X 对应的目录节点。目录节点检查共享者向量，如果 X 未被缓存，直接返回数据并将 A 加入共享者列表。如果 X 已被处理器 B 缓存且处于 S 状态，将 A 也加入共享者列表。如果 X 被 B 独占（M 状态），目录通知 B 将数据写回并转为 S 状态，然后将数据返回给 A。

目录协议的可扩展性来自于其精确的通知机制。在一个有 1024 个处理器的系统中，如果某个数据只被 2 个处理器共享，目录协议只需要向这 2 个处理器发送消息，而嗅探协议需要向所有 1024 个处理器广播。

目录协议的挑战在于目录存储开销。共享者向量需要 N 位（N 为处理器数量），对于大规模系统，目录存储可能相当可观。为减少开销，实际系统采用多种压缩技术，如有限共享者列表（Limited Sharers List）、指针目录（Pointer Directory）和粗粒度目录（Coarse-Grained Directory）。

3.4 互连结构与总线瓶颈（约600字）

SMP 系统的互连结构直接影响其性能和可扩展性。互连结构的设计目标是在成本约束下提供足够的带宽和可接受的延迟。

共享总线（Shared Bus）是最简单的互连结构。所有处理器和内存控制器连接在同一条总线上，任何时刻只有一个设备可以使用总线。共享总线的优点是结构简单、实现成本低、一致性协议容易实现（所有事务天然广播）。缺点是带宽有限，所有处理器共享同一条总线的带宽。当处理器数量增加时，总线成为严重的瓶颈。典型的共享总线 SMP 系统不超过 4 到 8 个处理器。

交叉开关（Crossbar Switch）提供了更高的带宽。它是一个全连接的交换网络，允许多对处理器-内存对同时通信。N 个处理器和 M 个内存控制器需要一个 NM 的交叉开关矩阵。交叉开关的带宽远高于共享总线，但硬件复杂度随 NM 增长，成本和功耗较高。通常用于 8 到 32 个处理器的高端 SMP 系统。

片上网络（Network on Chip, NoC）是现代多核处理器的主流互连方案。NoC 将处理器和缓存节点组织成网络拓扑（如网格、环或树），通过路由器和链路进行通信。NoC 的带宽可以通过增加链路宽度和并行度来扩展，适合数十到数百个核心的大规模集成。Intel 的 mesh 互连和 AMD 的 Infinity Fabric 都是 NoC 的实际应用。

3.5 NUMA 架构（约550字）

NUMA（Non-Uniform Memory Access，非一致内存访问）架构是对传统 UMA（Uniform Memory Access）架构的扩展。在 UMA 架构中，所有处理器访问任何内存位置的延迟相同。在 NUMA 架构中，内存被分布在多个节点上，每个节点包含一组处理器和本地内存控制器。处理器访问本地内存的延迟远低于访问远程内存的延迟。

NUMA 架构的设计动机是解决大规模 SMP 系统的互连瓶颈。随着处理器数量增加，单一共享互连的带宽不足。NUMA 将系统划分为多个节点，每个节点内部使用高速互连，节点间通过较慢的链路连接。这样，大部分内存访问在节点内完成，减少了跨节点的流量。

NUMA 架构对编程有重要影响。虽然从程序员角度看，NUMA 系统仍然提供统一的地址空间（操作系统负责地址映射），但性能取决于数据的本地性。如果线程访问的数据不在其本地节点上，内存访问延迟可能增加 50% 到 200%。因此，NUMA 感知的编程需要关注数据放置和线程亲和性（Thread Affinity），将线程分配到其数据所在的节点上执行。

三、深入分析与讨论

3.1 伪共享（False Sharing）问题（约500字）

伪共享是 SMP 系统中一个隐蔽但影响巨大的性能问题。缓存一致性协议以缓存行（Cache Line，通常 64 字节）为单位维护一致性。当两个处理器分别频繁读写同一缓存行中的不同变量时，虽然它们在逻辑上访问的是不同的数据，但缓存一致性协议会将整个缓存行在两个处理器之间来回传递，产生大量的一致性流量。

例如，考虑两个线程分别对计数器 count1 和 count2 进行递增操作。如果 count1 和 count2 恰好位于同一个 64 字节的缓存行中，线程 A 修改 count1 时会使线程 B 的缓存行无效，反之亦然。结果是两个线程的缓存行不断在彼此之间传递，即使它们从不访问对方的变量。这种性能退化与真正的数据共享无关，完全是缓存行粒度的副作用，因此称为"伪共享"。

伪共享的解决方法是确保不同线程频繁访问的变量不在同一个缓存行中。可以通过在变量之间插入填充（Padding）来强制对齐到不同的缓存行。例如，在 C 语言中可以使用 alignas(64) 或手动添加填充字节。在高性能并行程序中，避免伪共享是基本的优化手段。

3.2 缓存一致性协议的实现细节比较（约500字）

嗅探协议和目录协议在多个维度上存在差异，理解这些差异有助于为特定系统选择合适的一致性方案。

在通信模式上，嗅探协议使用广播，所有节点都能看到所有事务；目录协议使用点对点消息，只通知相关节点。广播在总线互连上自然实现，但在网络互连上需要特殊支持。目录协议天然适合网络互连。

在硬件开销上，嗅探协议不需要额外的目录存储，但要求互连支持广播。目录协议需要为每个缓存行维护目录条目，增加了 SRAM 开销，但对互连的要求较低。

在延迟特性上，嗅探协议的延迟相对固定，因为所有处理器同时收到广播。目录协议可能需要额外的目录查找延迟，但在低共享度场景下总体延迟更低。

在可扩展性上，嗅探协议的带宽需求随处理器数量线性增长，不适合大规模系统。目录协议的带宽需求与实际的共享度相关，可以扩展到数千个节点。

3.3 现代处理器的缓存一致性实现（约450字）

以 Intel 的 Core 系列处理器为例，其缓存层次结构包括：每个核心私有的 32KB L1 数据缓存和 48KB L1 指令缓存，每核心 1.25MB 的 L2 缓存，以及所有核心共享的 L3 缓存（可达 30MB 以上）。

L1 和 L2 缓存使用 MESI 协议的变体进行一致性维护。由于 L1 和 L2 是每核私有的，一致性域较小，嗅探协议可以高效工作。L3 缓存作为共享的受害缓存（Victim Cache），充当 L2 到内存之间的缓冲。

Intel 使用环形总线（Ring Bus）或网格（Mesh）互连连接核心和 L3 缓存切片。一致性事务通过互连网络传递，L3 缓存在一定程度上充当了目录的角色，跟踪哪些核心缓存了特定的缓存行。

AMD 的 Zen 架构采用 Chiplet 设计，每个 CCD（Core Complex Die）包含 8 个核心和共享 L3 缓存，多个 CCD 通过 Infinity Fabric 互连。CCD 内部使用嗅探协议，CCD 之间使用基于目录的协议，形成了层次化的一致性方案。

四、实践案例

4.1 案例一：伪共享的性能影响实验（约400字）

设计一个实验来量化伪共享的性能影响。在双核系统上，两个线程分别对两个 64 位整数计数器进行 1 亿次递增操作。

实验一：两个计数器位于同一个缓存行（相邻放置）。实测执行时间约为 850ms。由于伪共享，两个核心的缓存行不断在彼此之间传递，每次递增都需要重新获取缓存行所有权。

实验二：两个计数器分别放置在不同的缓存行（间隔至少 64 字节）。实测执行时间约为 120ms。每个核心独立操作自己的缓存行，无需跨核心的一致性通信。

性能差异达到 7 倍以上，完全是由伪共享造成的。这个案例清楚地说明了在并行编程中关注数据布局的重要性。解决方法简单有效：在两个计数器之间插入足够的填充字节，确保它们不在同一个缓存行中。

4.2 案例二：NUMA 感知的内存分配优化（约400字）

在一个 4 路 NUMA 服务器上进行数据库性能测试。该服务器有 4 个 CPU 节点，每节点 16 核，各有本地内存。数据库使用 4 个线程组，每组 16 个线程处理一个数据分区。

在 NUMA 不感知的配置下，操作系统自动分配内存，数据可能分布在不同节点的内存中。线程访问远程内存的比例约为 60%，内存访问平均延迟为 150ns，数据库吞吐量为 120 万 TPS。

在 NUMA 感知的配置下，使用 numactl 将每个线程组的数据绑定到其执行节点的本地内存。远程内存访问比例降至 5%，平均延迟降为 95ns，吞吐量提升到 165 万 TPS，提升约 37.5%。

这个案例说明，即使在共享内存编程模型下，关注数据的物理分布仍然对性能有显著影响。NUMA 优化是大规模 SMP 系统上不可忽视的性能调优手段。

五、常见误区与注意事项

误区：共享内存意味着所有内存访问延迟相同。在 NUMA 架构上，本地内存和远程内存的访问延迟差异显著。程序员应使用线程亲和性和内存绑定来优化数据本地性，避免假设所有内存访问代价相同。

误区：缓存一致性是自动的，不需要程序员关心。虽然硬件协议保证了缓存一致性，但程序员仍需关注内存顺序（Memory Ordering）问题。编译器和处理器可能对内存操作进行重排序，导致多线程程序的行为与预期不符。需要使用内存屏障或原子操作来保证正确的执行顺序。

误区：更多的缓存一定能提升性能。缓存可能导致伪共享、缓存颠簸（Cache Thrashing）等问题。在某些场景下，精心安排数据布局比简单增加缓存容量更有效。

误区：嗅探协议和目录协议只能用于特定规模。实际上，现代处理器经常采用层次化方案，在小范围内使用嗅探协议（如 L1/L2 缓存之间），在大范围内使用目录协议（如跨 CCD 或跨 socket）。

注意事项：缓存行大小是性能优化的关键参数。不同处理器的缓存行大小可能不同（常见为 64 字节，某些架构为 128 字节）。在进行数据对齐和填充时，应查询目标处理器的缓存行大小。

六、本章小结

本章详细讲解了共享内存多处理器（SMP）架构的核心技术。SMP 架构通过共享地址空间提供了简洁的编程模型，但面临缓存一致性和互连带宽两大挑战。缓存一致性问题是多处理器缓存的必然产物，嗅探协议通过广播机制在小规模系统中有效解决这一问题，MESI 协议定义了四种缓存行状态及其转换规则。目录协议通过为每个内存块维护共享者信息，实现了更精确的通知机制，适合大规模系统。互连结构从共享总线发展到交叉开关和片上网络，不断提升 SMP 系统的带宽和可扩展性。NUMA 架构通过分布式内存设计突破了单一互连的瓶颈，但要求程序员关注数据本地性。伪共享是 SMP 编程中的隐蔽性能陷阱，需要通过合理的数据布局来避免。

七、思考题与练习

画出 MESI 协议的完整状态转换图，标注每种转换的触发条件和产生的总线事务。分析一次"读-写-读"操作序列在两个处理器上的完整状态转换过程。

比较嗅探协议和目录协议在以下方面的差异：通信模式、硬件开销、延迟特性和可扩展性。为什么现代大规模处理器倾向于使用目录协议？

设计一个实验来测量 NUMA 系统中本地内存访问和远程内存访问的延迟差异。使用什么工具和方法？预期结果是什么？

解释伪共享的产生原因，并编写代码演示伪共享的性能影响。提出至少两种避免伪共享的方法，并比较它们的优缺点。

分析一个现代多核处理器（如 Intel Core i9-14900K 或 AMD Ryzen 9 7950X）的缓存层次结构。它有多少级缓存？各级缓存的容量和关联度是多少？采用了什么互连结构？

讨论顺序一致性模型和释放一致性模型的区别。为什么现代处理器通常采用比顺序一致性更弱的内存模型？这对程序员有什么影响？

假设要设计一个 256 核的共享内存处理器，你会选择嗅探协议还是目录协议？请从互连结构、目录存储开销、延迟和带宽等多个角度论证你的选择。

研究一种实际的片上网络互连方案（如 Intel 的 Mesh 或 AMD 的 Infinity Fabric），分析其拓扑结构、路由方式和带宽特性。