第4章 内存管理（虚拟内存的艺术） Memory Management

一、导读

1.1 本章学习目标

理解内存管理的基本目标：重定位、保护、共享和逻辑组织

掌握逻辑地址（虚拟地址）与物理地址的区别及地址翻译机制

深入理解分页（Paging）机制的原理，包括页表结构、多级页表和 TLB

掌握分段（Segmentation）机制及其与分页的对比

理解虚拟内存的概念，掌握请求分页（Demand Paging）的工作原理

掌握主要页面置换算法（FIFO、LRU、OPT、Clock）的原理与性能比较

理解工作集模型和抖动（Thrashing）现象及其预防

了解现代操作系统中的内存管理实践（如 Linux 的 Buddy System 和 Slab 分配器）

1.2 为什么本章如此重要

内存管理是操作系统最精妙的设计之一。虚拟内存技术堪称计算机科学中最成功的抽象之一——它为每个进程营造了一个假象：仿佛独占了整个机器的内存空间。这种抽象极大地简化了程序员的编程模型，使得开发者无需关心物理内存的容量限制、碎片问题和其他进程的存在。

从系统安全的角度来看，内存管理提供了关键的隔离保护机制。每个进程的地址空间相互隔离，一个进程无法直接读写另一个进程的内存。这种隔离是操作系统安全模型的基础——没有地址空间隔离，恶意程序可以轻易窃取其他进程的数据或破坏系统运行。现代操作系统的安全增强功能（如 ASLR、栈保护、W^X）也都建立在内存管理机制之上。

从性能的角度来看，内存管理的设计直接影响系统的整体性能。TLB 的命中率、页面置换算法的选择、缺页中断的处理速度等因素都会显著影响程序的执行效率。在大数据和高性能计算场景中，合理的内存管理策略可以将程序性能提升数倍。理解内存层次结构（寄存器 > Cache > 内存 > 磁盘）和局部性原理，是编写高性能程序的关键。

从系统资源利用的角度来看，虚拟内存使得系统可以运行物理内存无法容纳的大型程序。通过按需调页和页面置换，操作系统只将当前需要的页面保留在物理内存中，其余部分存储在磁盘上。这种"时间换空间"的策略极大地扩展了系统的处理能力。

1.3 核心问题引导

为什么每个进程都"认为"自己独占了全部内存？这种抽象是如何实现的？

分页和分段各有什么优缺点？为什么现代系统主要采用分页机制？

页表可能占用大量内存，多级页表是如何解决这一问题的？

TLB 的作用是什么？当 TLB 未命中时会发生什么？

当物理内存不足时，操作系统如何决定换出哪个页面？不同算法的性能差异有多大？

什么是抖动（Thrashing）？如何检测和预防抖动？

写时复制（Copy-on-Write）技术的原理是什么？它在哪些场景中被应用？

现代操作系统如何管理物理内存的分配与回收？

二、核心概念详解

2.1 地址空间与地址翻译

地址空间（Address Space）是进程可以使用的地址集合。逻辑地址（也称虚拟地址）是程序编译时使用的地址，物理地址是实际内存单元的地址。地址翻译（Address Translation）是将逻辑地址转换为物理地址的过程，这一过程由硬件（MMU，Memory Management Unit）自动完成。

在没有内存管理单元的简单系统中，程序直接使用物理地址，这带来了严重的问题：程序无法在固定的内存位置加载（因为其他程序可能已占用该位置）；程序可以访问任意内存区域（缺乏保护）；多个程序无法共享同一份代码。

基址寄存器（Base Register）和界限寄存器（Limit Register）是最简单的内存保护机制。基址寄存器存储进程在物理内存中的起始地址，界限寄存器存储进程地址空间的大小。CPU 在生成每个内存访问时，由 MMU 自动将逻辑地址加上基址值转换为物理地址，并检查是否超出界限。这种方式实现了重定位和保护，但要求每个进程的地址空间在物理内存中连续存放，容易导致外部碎片。

分页机制通过将地址空间划分为固定大小的页面（Page），消除了对连续物理内存的要求。在 32 位系统中，页面大小通常为 4KB（2^12 字节）。逻辑地址被分为两部分：页号（Page Number）和页内偏移（Offset）。页号用于索引页表以获取物理帧号（Frame Number），物理帧号与页内偏移拼接形成物理地址。

分段机制则将地址空间划分为大小不等的段（Segment），每个段对应一个逻辑单元（如代码段、数据段、堆栈段）。逻辑地址由段号（Segment Number）和段内偏移组成。段表记录了每个段的基址和长度。分段提供了更符合程序员思维的内存组织方式，但可能导致外部碎片。

2.2 页表与多级页表

页表（Page Table）是分页机制的核心数据结构，它建立了虚拟页号到物理帧号的映射关系。每个进程都有自己的页表，存储在物理内存中。页表的每一项（Page Table Entry, PTE）包含物理帧号以及若干控制位：有效位（Valid Bit）表示该页是否在物理内存中；保护位（Protection Bits）表示访问权限（读/写/执行）；修改位（Dirty Bit）表示该页是否被修改过；引用位（Reference Bit）表示该页最近是否被访问过。

页表面临的主要挑战是规模问题。在 32 位地址空间、4KB 页面的系统中，共有 2^20（约 100 万）个页面，每个页表项 4 字节，页表总大小约 4MB。在 64 位地址空间中，问题更加严重——理论上需要 2^48 / 4KB = 2^36 个页表项，即使只使用其中极小一部分，传统的一维页表也无法容纳。

多级页表（Multi-Level Page Table）通过将页表分层来解决规模问题。以两级页表为例：第一级称为页目录（Page Directory），包含指向第二级页表的指针；第二级页表包含实际的物理帧号。如果某个虚拟地址范围内的页面都未使用，则对应的页目录项为空，无需分配第二级页表。这种层次化结构使得页表的大小与实际使用的虚拟地址范围成正比，而非与整个地址空间成正比。

现代 64 位系统通常采用四级甚至五级页表。Linux 在 x86-64 架构上使用四级页表（PGD -> PUD -> PMD -> PTE），可以管理 48 位的虚拟地址空间。ARM64 架构支持 3 级和 4 级页表配置。

反向页表（Inverted Page Table）是另一种优化方案。传统页表以虚拟页号为索引，反向页表以物理帧号为索引，每一项记录哪个进程的哪个虚拟页映射到该物理帧。反向页表的大小固定为物理帧数，不随虚拟地址空间增大而增大，但查找效率较低，通常需要哈希表辅助。

2.3 TLB 与地址翻译加速

TLB（Translation Lookaside Buffer，快表）是位于 CPU 内部的高速缓存，用于加速虚拟地址到物理地址的翻译过程。由于页表存储在内存中，每次内存访问都需要先查页表获取物理地址，然后再访问实际数据，这相当于每次内存访问的延迟翻倍。TLB 通过缓存最近使用的页表项来避免这一性能损失。

TLB 通常采用相联存储器（Associative Memory）实现，支持并行查找。当 CPU 生成虚拟地址时，TLB 同时将其虚拟页号与所有缓存条目进行比较。如果命中（TLB Hit），直接返回物理帧号，整个过程仅需 1 个 CPU 周期。如果未命中（TLB Miss），则需要访问内存中的页表来获取物理帧号，然后将该页表项加入 TLB。

TLB 的性能参数对系统整体性能有显著影响。现代处理器的 TLB 通常有 64-128 个条目，命中率可达 99% 以上。TLB 未命中的代价很高——在四级页表结构下，最坏情况需要 4 次内存访问才能完成地址翻译。因此，TLB 命中率每提高一个百分点，都可能带来可观的性能提升。

TLB 的管理需要考虑几个问题。首先是上下文切换时的 TLB 刷新——不同进程的页表不同，切换进程时必须清除 TLB 中的旧条目。现代 CPU 提供了 PCID（Process-Context ID）或 ASID（Address Space ID）功能，允许 TLB 条目标记所属进程，从而避免完全刷新。其次是 TLB 的替换策略——当 TLB 已满且需要加入新条目时，需要选择一个旧条目替换。常用的策略包括 LRU（最近最少使用）和随机替换。

2.4 页面置换算法

当发生缺页中断（Page Fault）且物理内存已满时，操作系统需要选择一个页面换出（Page Out）以腾出空间给新页面。页面置换算法的选择直接影响系统的缺页率和整体性能。

最优置换算法（Optimal, OPT）换出将来最长时间不会被访问的页面。OPT 可以保证最低的缺页率，但它需要预知未来的页面访问序列，在实际中无法实现。OPT 的价值在于作为性能比较的基准。

先进先出算法（FIFO）换出最早进入内存的页面。FIFO 实现简单，但性能较差，且可能出现 Belady 异常——增加物理帧数反而导致缺页率上升的现象。例如，对于访问序列 1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5，3 个帧的缺页次数可能少于 4 个帧的缺页次数。

最近最少使用算法（LRU, Least Recently Used）换出最长时间未被访问的页面。LRU 基于局部性原理——最近被访问的页面在不久的将来很可能再次被访问。LRU 不会出现 Belady 异常，性能接近 OPT。但 LRU 的精确实现需要维护页面访问的时间顺序，开销较大。常见的实现方式包括使用栈（每次访问将页面移到栈顶）或使用计数器（为每个页面记录访问时间戳）。

Clock 算法（也称二次机会算法，Second Chance）是 LRU 的近似实现，也是实际系统中广泛采用的算法。它为每个页面设置一个引用位，所有页面排列成环形队列。当需要置换时，指针扫描队列：如果引用位为 1，则清零并继续；如果引用位为 0，则选择该页面换出。这种算法的开销远低于 LRU，性能却相当接近。Linux 内核使用的就是 Clock 算法的改进版本。

三、深入分析与讨论

3.1 局部性原理与工作集模型

局部性原理（Principle of Locality）是内存管理和缓存系统设计的理论基础。它包含两个方面：时间局部性（Temporal Locality）——最近被访问的数据在不久的将来很可能再次被访问；空间局部性（Spatial Locality）——最近被访问的数据附近的数据很可能很快被访问。

程序的行为表现出显著的局部性。循环结构导致指令的时间局部性——循环体内的指令被反复执行。数组遍历导致数据的空间局部性——连续访问相邻的数组元素。过程调用导致指令的空间局部性——调用的函数代码在物理上通常位于附近。

基于局部性原理，Denning 提出了工作集模型（Working Set Model）。工作集定义为进程在最近 Delta 个时间单位内访问过的页面集合。工作集模型的核心思想是：如果为进程分配的物理帧数足以容纳其当前工作集，则缺页率会很低；如果分配的帧数不足，则缺页率会急剧上升，导致抖动。

抖动（Thrashing）是指进程的缺页率极高，CPU 大部分时间都在处理缺页中断和页面置换，实际计算工作几乎无法推进的状态。抖动的根本原因是进程的并发度（同时运行的进程数）过高，导致每个进程分得的物理帧数不足以容纳其工作集。预防抖动的方法包括：限制系统的并发度（使所有进程的工作集之和不超过物理内存容量）；使用工作集模型动态调整进程分配的帧数；当检测到抖动时挂起部分进程。

3.2 写时复制与内存映射

写时复制（Copy-on-Write, COW）是一种延迟复制的优化技术。当多个进程需要共享同一份数据时，系统并不立即复制数据，而是让所有进程共享同一物理页面。只有当某个进程尝试写入共享页面时，系统才为该进程创建一份独立的副本。COW 在以下场景中被广泛应用。

fork() 系统调用：在 Unix/Linux 系统中，fork() 创建子进程时并不复制父进程的全部物理页面，而是让父子进程共享页面并标记为只读。当任一方尝试写入时，才触发缺页中断并复制相应页面。这极大地加速了进程创建过程，特别是在配合 exec() 使用时——如果子进程立即执行 exec()，则完全不需要复制任何页面。

快照（Snapshot）：存储系统的快照功能通常基于 COW 实现。创建快照时，当前数据块被标记为共享。后续对原始数据的修改会触发 COW，将修改前的数据块复制到快照区域。这样既保证了快照的一致性，又避免了立即复制全部数据的开销。

内存映射（Memory Mapping, mmap）允许将文件或其他对象映射到进程的地址空间。映射后，进程可以通过内存读写操作来访问文件内容，而无需调用 read() 和 write() 系统调用。mmap 的实现依赖于分页机制——文件的每个页面对应一个虚拟页面，首次访问时触发缺页中断从磁盘加载。mmap 特别适用于大文件的随机访问场景。

四、实践案例

4.1 Linux 内存管理实践

Linux 的内存管理系统是研究操作系统内存管理的绝佳案例。Linux 采用虚拟内存机制，每个进程拥有独立的虚拟地址空间。在 64 位 x86 系统上，虚拟地址空间为 2^48（256TB），分为用户空间（低 128TB）和内核空间（高 128TB）。

Linux 使用四级页表进行地址翻译：PGD（Page Global Directory）-> PUD（Page Upper Directory）-> PMD（Page Middle Directory）-> PTE（Page Table Entry）。每个页面的大小为 4KB，也支持 2MB 和 1GB 的大页（Huge Page）以减少 TLB 未命中。

物理内存管理采用伙伴系统（Buddy System）和 Slab 分配器的组合。伙伴系统将物理页面按 2 的幂次分组（1 页、2 页、4 页、8 页...），分配时找到满足需求的最小空闲块，释放时将相邻的空闲块合并。伙伴系统有效减少了外部碎片，但可能产生内部碎片。

Slab 分配器用于高效分配小对象内存。它为内核中频繁使用的数据结构（如 inode、task_struct）预先分配对象缓存（Object Cache），避免频繁的内存分配和初始化开销。Slab 分配器是 Linux 内核性能优化的重要组成部分。

通过 /proc/meminfo 可以查看系统的内存使用概况，包括总内存、空闲内存、缓冲区、缓存等信息。vmstat 命令可以监控缺页中断、页面换入换出等内存活动。

4.2 页面置换算法的性能比较实验

通过模拟实验可以直观比较不同页面置换算法的性能。设定一个页面访问序列和固定数量的物理帧，分别使用 FIFO、LRU 和 OPT 算法进行模拟，统计缺页次数和缺页率。

典型的实验结果表明：OPT 算法的缺页率最低（作为理论基准）；LRU 算法的缺页率略高于 OPT，但显著优于 FIFO；FIFO 算法的缺页率最高，且可能出现 Belady 异常。增加物理帧数通常会降低缺页率（FIFO 的异常情况除外），但当帧数增加到一定程度后，缺页率的改善趋于平缓。

在实际系统中，Clock 算法的性能通常接近 LRU，但实现开销远小于 LRU。Linux 内核的页面回收机制采用了更为复杂的"二次机会"策略：将页面分为活跃链表和非活跃链表，新调入的页面进入活跃链表头部，被再次访问的页面从非活跃链表移回活跃链表，长期未被访问的页面从非活跃链表尾部被回收。这种机制能够较好地近似 LRU 的行为。

五、常见误区与注意事项

误区：虚拟内存意味着可以使用无限大的内存。 虚拟内存的上限受地址总线宽度限制（32 位系统为 4GB，64 位系统为 256TB）。此外，交换空间（Swap）的大小也限制了实际可用的虚拟内存总量。

误区：LRU 算法总是优于 FIFO。 虽然 LRU 在大多数情况下性能更好，但 LRU 的实现开销较大。在对性能要求不高或页面访问模式接近随机的场景中，FIFO 的简单性可能更有优势。

误区：增加物理内存一定能消除缺页中断。 即使物理内存足够大，进程首次访问页面时仍会产生缺页中断（因为页面需要从磁盘调入）。此外，如果进程的工作集超过物理内存容量，缺页中断仍会频繁发生。

注意事项：大页（Huge Page）的使用需要谨慎。 大页可以减少 TLB 未命中，但可能导致内部碎片增加和内存浪费。在使用大页前，应确保应用程序的内存访问模式确实能够从中受益。

注意事项：内存泄漏在虚拟内存系统中更难发现。 由于虚拟内存可以动态扩展，泄漏的内存可能不会立即导致系统异常，而是逐渐消耗交换空间，最终导致系统性能下降。

六、本章小结

本章系统讲解了操作系统内存管理的核心概念和技术。虚拟内存通过地址翻译机制为每个进程提供独立的地址空间抽象，极大地简化了编程模型并提供了内存保护。分页机制消除了外部碎片，多级页表和 TLB 分别解决了页表规模和地址翻译性能的问题。分段机制提供了逻辑化的内存组织方式，现代系统通常采用分页或分段与分页结合的方案。页面置换算法决定了物理内存不足时的换页策略，LRU 及其近似算法（如 Clock）在实践中广泛应用。局部性原理和工作集模型是理解内存管理行为的理论基础，抖动现象提醒我们需要合理控制系统的并发度。写时复制和内存映射是重要的内存优化技术。Linux 的伙伴系统和 Slab 分配器展示了物理内存管理的工程实践。

七、思考题与练习

在一个 32 位系统中，页面大小为 4KB，某进程的虚拟地址为 0x12345678。请计算其页号和页内偏移。如果该页号对应的物理帧号为 0xABCD，请计算物理地址。

比较两级页表和四级页表的结构。对于一个只使用了地址空间前 1/4 的进程，四级页表相比两级页表有什么优势？

对于页面访问序列 1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5，分别使用 FIFO、LRU 和 OPT 算法（3 个物理帧），计算缺页次数。验证 FIFO 是否出现 Belady 异常。

解释 TLB 在地址翻译中的作用。如果一个程序的 TLB 命中率从 99% 降低到 95%，对程序性能的影响有多大？请进行定量分析。

什么是抖动？假设一个系统有 100 个物理帧，同时运行 10 个进程，每个进程的工作集为 15 个页面。系统是否会发生抖动？如何解决？

研究 Linux 的 /proc/[pid]/smaps 文件。它提供了哪些关于进程内存使用的详细信息？如何利用这些信息来诊断内存问题？

比较 mmap 和传统 read/write 方式访问文件的性能差异。在什么场景下 mmap 更有优势？在什么场景下传统方式更合适？

设计一个实验来验证局部性原理对程序性能的影响。比较顺序访问和随机访问数组时的执行时间差异，并分析原因。