统计学习方法（第2版）
Statistical Learning Methods
机器学习经典教材
本书是机器学习领域的经典教材，系统介绍了统计学习的基本方法。全书分为监督学习和无监督学习两大部分，涵盖了感知机、朴素贝叶斯、决策树、逻辑斯谛回归、支持向量机、提升方法、EM算法、隐马尔可夫模型、条件随机场等经典算法。第2版新增了无监督学习的内容。
关联抽象层级
本教材覆盖以下抽象层级，帮助你建立从底层到顶层的完整知识体系。
为什么读这本书
本书是学习机器学习的必读之作，以清晰的数学推导和直观的解释帮助读者理解机器学习算法的本质。
🎯AI 时代的学习建议
在 AI 能生成代码的今天，读这本书的价值不在于"学会写代码"，而在于建立判断 AI 输出的能力。当你理解了应用抽象、计算机体系结构、低级代码的核心原理，你就能：
- •判断 AI 生成的代码是否符合底层约束 — 当 AI 推荐一段"优化"方案时，你能从人类思维的角度判断它是否真的有效
- •向 AI 提出正确的问题 — 理解应用抽象、计算机体系结构、低级代码的设计动机，让你能精准描述问题，而不是模糊地求助
- •在 AI 方案遇到瓶颈时定位根因 — 当 AI 推荐的架构方案在流量峰值下崩溃，你能从汇编语言出发，推导出正确的取舍
阅读策略：不要试图记住所有细节。重点理解每一章的设计动机（为什么需要这个抽象？）和边界条件（什么情况下会失效？）。这些是 AI 无法替代你判断的部分。
理论-实践双轨学习路径
在 AI 代码生成能力快速演进的今天，掌握应用抽象、计算机体系结构、低级代码的本质概念比以往任何时候都更具战略价值。如何在 AI 时代系统性地掌握这些本质概念？我们推荐"理论-实践"双轨学习路径：
理论轨道：从经典教材中找 What 和 Why
通过经典教材深入理解每一层的核心概念（What）、设计动机（Why）与边界条件。理解为什么需要这个抽象？什么情况下会失效？这些是 AI 无法替代你判断的部分。
实践轨道：从交互沙盒中找 How
通过交互沙盒亲手操作、观察行为变化、建立工程直觉（How）。当你既理解了理论，又积累了实践经验，便能在 AI 生成的代码出现性能瓶颈时快速定位根因，在架构设计面临权衡时做出基于原理的决策。
💡 核心洞察：这正是从"AI 使用者"进阶为"AI 驾驭者"的关键能力——在 AI 生成的代码出现问题时快速定位根因，在架构设计遇到瓶颈时做出正确取舍。当你同时具备理论深度与实践经验，你才能成为驾驶 AI 机车的大牛。
章节导览
统计学习方法概论
机器学习基础
本章是全书的导论，介绍统计学习的基本框架。统计学习的核心思想是从数据中学习模型，利用模型进行预测和决策。你将了解监督学习的基本概念、模型的评估方法和学习的基本准则。
感知机
最简单的分类器
感知机是最简单的线性分类模型，也是神经网络的基础。本章介绍感知机的模型、学习策略（误分类最小化）和学习算法（随机梯度下降），并证明其收敛性。
k近邻法
基于实例的学习
k近邻法（kNN）是一种基于实例的学习方法，不需要显式的训练过程。本章介绍kNN的三要素：距离度量、k值选择和分类决策规则，以及高效的kNN搜索算法。
朴素贝叶斯法
概率分类器
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。本章介绍朴素贝叶斯的原理、参数估计方法（极大似然估计和贝叶斯估计），以及在文本分类中的应用。
决策树
树形分类器
决策树是一种直观的分类和回归方法，通过树形结构进行决策。本章介绍决策树的生成算法（ID3、C4.5、CART）、剪枝策略，以及如何处理连续值和缺失值。
逻辑斯谛回归与最大熵模型
对数线性模型
逻辑斯谛回归是经典的分类方法，虽然名字带'回归'但实际是分类算法。本章介绍逻辑斯谛回归的模型、策略（对数似然损失）和算法（梯度下降），以及最大熵模型的原理。
支持向量机
SVM
支持向量机是强大的分类方法，核心思想是找到最大间隔超平面。本章从线性可分SVM开始，逐步介绍线性SVM（软间隔）和非线性SVM（核技巧），以及常用的优化算法。
提升方法
集成学习
提升方法是一种强大的集成学习技术，通过组合多个弱学习器构建强学习器。本章介绍AdaBoost、提升树和梯度提升树（GBDT）等经典算法。
EM算法及其推广
含有隐变量的模型
EM算法是处理含有隐变量模型参数估计的重要方法。本章介绍EM算法的原理、收敛性证明，以及在混合高斯模型（GMM）等模型中的应用。
隐马尔可夫模型
序列模型
隐马尔可夫模型（HMM）是描述时序数据的重要概率模型。本章介绍HMM的三个基本问题（概率计算、学习、预测）及其高效算法。
条件随机场
序列标注
条件随机场（CRF）是序列标注任务的主流方法。本章介绍概率无向图模型的基础，以及线性链CRF的定义、参数化和学习方法。
无监督学习概论
聚类与降维
无监督学习是从无标注数据中学习数据结构的任务。本章介绍聚类和降维两大无监督学习方法，包括K-means、层次聚类、主成分分析等经典算法。
统计学习方法概论
机器学习基础
本章是全书的导论，介绍统计学习的基本框架。统计学习的核心思想是从数据中学习模型，利用模型进行预测和决策。你将了解监督学习的基本概念、模型的评估方法和学习的基本准则。
感知机
最简单的分类器
感知机是最简单的线性分类模型，也是神经网络的基础。本章介绍感知机的模型、学习策略（误分类最小化）和学习算法（随机梯度下降），并证明其收敛性。
k近邻法
基于实例的学习
k近邻法（kNN）是一种基于实例的学习方法，不需要显式的训练过程。本章介绍kNN的三要素：距离度量、k值选择和分类决策规则，以及高效的kNN搜索算法。
朴素贝叶斯法
概率分类器
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。本章介绍朴素贝叶斯的原理、参数估计方法（极大似然估计和贝叶斯估计），以及在文本分类中的应用。
决策树
树形分类器
决策树是一种直观的分类和回归方法，通过树形结构进行决策。本章介绍决策树的生成算法（ID3、C4.5、CART）、剪枝策略，以及如何处理连续值和缺失值。
逻辑斯谛回归与最大熵模型
对数线性模型
逻辑斯谛回归是经典的分类方法，虽然名字带'回归'但实际是分类算法。本章介绍逻辑斯谛回归的模型、策略（对数似然损失）和算法（梯度下降），以及最大熵模型的原理。
支持向量机
SVM
支持向量机是强大的分类方法，核心思想是找到最大间隔超平面。本章从线性可分SVM开始，逐步介绍线性SVM（软间隔）和非线性SVM（核技巧），以及常用的优化算法。
提升方法
集成学习
提升方法是一种强大的集成学习技术，通过组合多个弱学习器构建强学习器。本章介绍AdaBoost、提升树和梯度提升树（GBDT）等经典算法。
EM算法及其推广
含有隐变量的模型
EM算法是处理含有隐变量模型参数估计的重要方法。本章介绍EM算法的原理、收敛性证明，以及在混合高斯模型（GMM）等模型中的应用。
隐马尔可夫模型
序列模型
隐马尔可夫模型（HMM）是描述时序数据的重要概率模型。本章介绍HMM的三个基本问题（概率计算、学习、预测）及其高效算法。
条件随机场
序列标注
条件随机场（CRF）是序列标注任务的主流方法。本章介绍概率无向图模型的基础，以及线性链CRF的定义、参数化和学习方法。
无监督学习概论
聚类与降维
无监督学习是从无标注数据中学习数据结构的任务。本章介绍聚类和降维两大无监督学习方法，包括K-means、层次聚类、主成分分析等经典算法。
学习资源
关联沙盒实验
CPU 步进器
CpuStepper
单步执行 CPU 指令流水线。观察每条指令如何经过取指→译码→执行→访存→写回五个阶段，理解 CPU 和内存的协作。
汇编游乐场
AssemblyPlayground
交互式汇编语言环境。编写简单的汇编程序，观察寄存器变化和内存访问，理解低级代码如何控制硬件。
硬件构建器
HardwareBuilder
从零构建 Hack 计算机。放置 ALU、寄存器、内存等组件并建立数据通路，理解计算机体系结构。对应 Nand2Tetris 第 5 章。
Cache Lab
CacheLab
CSAPP 缓存实验室。模拟缓存的工作原理，理解组相联、替换策略、缓存命中与缺失。
SQL 游乐场
SQLPlayground
交互式 SQL 查询实验室。通过挑战学习 SELECT、JOIN、聚合、子查询等 SQL 核心语法。
Bomb Lab
BombLab
CSAPP 炸弹实验室。阅读 x86-64 汇编代码，通过 6 个关卡拆除炸弹，掌握二进制调试技能。
标签
常见问题
统计学习方法（第2版）是什么？
统计学习方法（第2版）（Statistical Learning Methods）是李航编写的计算机科学经典教材，由清华大学出版社出版。本书是机器学习领域的经典教材，系统介绍了统计学习的基本方法。全书分为监督学习和无监督学习两大部分，涵盖了感知机、朴素贝叶斯、决策树、逻辑斯谛回归、支持向量机、提升方法、EM算法、隐马尔可夫模型、条件随机场等经典算法。第2版新增了无监督学习的内容。
为什么要读统计学习方法（第2版）？
AI 能帮你写代码，但不能帮你建立工程直觉。统计学习方法（第2版）帮你深入理解机器学习、统计学习、监督学习的核心概念和设计动机，让你能判断 AI 生成的代码是否符合设计约束。
统计学习方法（第2版）适合什么水平的学习者？
统计学习方法（第2版）适合想要深入研究的资深工程师。建议先完成入门和进阶阶段的学习。
统计学习方法（第2版）有多少章？主要内容是什么？
统计学习方法（第2版）共 12 章，涵盖统计学习方法概论、感知机、k近邻法等核心主题。每章都配有详细的导读和核心概念解析。
如何配合交互沙盒学习统计学习方法（第2版）？
建议采用理论-实践双轨学习法：从统计学习方法（第2版）中找 What 和 Why，从交互沙盒中找 How。学完教材一章后，打开对应层级的沙盒亲手操作验证。这种学习方式建立的工程直觉，是 AI 无法替代的。