《模式分类》章节试读

《模式分类》的笔记-第13页 - 绪论

第一章：关于模型的大量信息（如概率密度、分布形式、类别标记）事先知道的情况下；
第二章：模式类的概率结构完全知道的理想情况——贝叶斯决策理论；
第三章：关于模式类的概率结构未知，但一般的分布形式已知的情况——最大似然和贝叶斯参数估计；
第四章：没有任何先验分布形式的知识——非参数技术；
第五章：参数估计的一般方法；
第六章：将线性判别的思想推广到训练多层神经网络；
第七章：克服神经网络计算所遇到的部分困难；
第八章：不基于统计模型，转而研究可用逻辑规则表达的一类问题；
第九章：独立于算法的机器学习；
第十章：无监督学习和聚类。

《模式分类》的笔记-第76页 - 第3章 最大似然估计和贝叶斯参数估计

虽然关于贝叶斯参数估计的公式推导略显繁琐，不过结论倒是很清晰，很“贝叶斯”：($\mu_n$)的取值跟($\hat{x}_n$)（观测样本的平均值）和($\mu_0$)（先验）都有关系。
此时可以考虑当($n$)趋向于无穷大的时候($\mu_n$)和($\sigma_n^2$)的变化情况。

《模式分类》的笔记-第144页 - 第4章 非参数技术

原来这里讨论的是“$k_n$ nearest neighbor”，而不是“K nearest neighbor”。前者还是Parzen窗方法的思路，只不过第n次估计时为了包含进$k_n$个样本点，同时需要使得$V_n$增大。这里还是计算的是概率密度。
后者则是标准KNN算法，包括一个迭代的过程。在Bishop的PRML书中介绍了KNN算法和高斯混合模型之间非常强的关联，即KNN中的迭代过程完全是EM算法的简化版。

《模式分类》的笔记-第94页 - 3.8 成分分析和判别函数

一种处理过多的维数是采用组合特征的方法来降低维数，对几个特征作线性组合是一种特别具有吸引力的方法，因为线性组合容易计算并且能够进行解析分析，从本质上来说线性方法是将高维的数据投影的低维空间中。经典的寻找有效的线性变换的方法有两种。其一是主成分分析方法（principal component analysis），这一方法的目的是寻找在最小均方意义下最能够代表原始数据的对应方法。另一种方法为多重判别分析，这一方法的目的是寻找在最小均方意义下最能够分开各类数据的统计方法。<

《模式分类》的笔记-第一章 绪论 - 第一章 绪论

每本书的绪论部分都有两方面的作用, 一是引导读者进入一个新的领域, 一是在读者理解了大部分内容回头看时, 起到总结与融汇贯通的作用.
本章以鲈鱼和鲑鱼分类的例子, 引出了特征, 模型, 训练样本, 分类器等概念, 并介绍了典型模式识别系统的组成模块. 个人觉得有几个地方值得着重注意.
特征: 书中提到, 结构和纹理特征应该是平移不变, 旋转不变和尺度不变的. 实际上并不是所有的特征都具有这样的良好特性. 典型的具有这样性质的结构特征有SIFT, 纹理特征有LBP.
老师总结的良好特征有以下四个特性:
1. 可区别性 (不同类别)
2. 可靠性 (同一类别)
3. 独立性 (特征间)
4. 参数少 (复杂度低)
另外, 有一个容易被忽略掉的地方: 作者将模式识别方法主要分为两类:
1. 统计模式识别 (statistical PR)
2. 句法(结构)模式识别 (syntactic PR)
在绪论部分很难理解两者的含义. 不过在阅读后面内容之后可以发现, 2-6章属于统计模式识别, 8章进入句法模式识别方法.

《模式分类》的笔记-第35页 - 第1章 贝叶斯决策论

不明白贝叶斯决策论这么简单、符合直觉的理论被本书写的这么绕！

《模式分类》的笔记-第二章 贝叶斯决策论 - 第二章 贝叶斯决策论

(本节笔记主要记录2.1~2.7节内容)
本章2.1~2.4节介绍通用的贝叶斯决策论, 并未说明其中的概率服从何种分布. 2.5~2.6节则针对高斯分布对前面所介绍的理论进行分析. 在这个big picture下, 就不会迷失于繁多的概念和公式中.
基于贝叶斯公式, 作者首先介绍了两种决策理论:
1. 最小误差概率规则: 如果
\begin{equation}\label{eqn:min_error_rule}
P(\omega_1|\mathbf{x}) > P(\omega_2|\mathbf{x}),
\end{equation} 判决为类别($\omega_1$), 反之判决为($\omega_2$). 此时判决误差为($P(\omega_2|x)$).

2. 最小风险决策规则: 定义风险函数($\lambda(\alpha_i|\omega_j)$)描述类别状态为($\omega_j$)时采取行动($\alpha_i$)的风险, 若
\begin{equation}\label{eqn:min_risk_rule}
R(\alpha_1|\mathbf{x}) < R(\alpha_2|\mathbf{x}),
\end{equation} 则判为($\omega_2$), 其中($R(\alpha_i|\mathbf{x})=\sum_{j=1}^c\lambda(\alpha_i|\omega_j)P(w_j|\mathbf{x})$), 表示与行为($\alpha_i$)相关的损失.
2.3节最小误差率分类实际上是在说明这样一个事实: 上述``最小误差概率规则"是``最小风险决策规则"的一个特例. 设($\lambda_{ij}$)是($\lambda(\alpha_i|\omega_j)$)的简称, 定义0-1损失如下: 若($i\neq j$), 则($\lambda_{ij}=1$); 若若($i = j$), 则($\lambda_{ij}=0$).
在0-1损失下, 有\begin{eqnarray}\label{eqn:min_risk_rule_1}
R(\alpha_i|\mathbf{x}) &=& \sum_{j=1}^c \lambda_{ij}P(w_j|\mathbf{x}) =\sum_{j\neq i} P(w_j|\mathbf{x}) \nonumber\\
& =& 1- P(w_i|\mathbf{x})
\end{eqnarray}不难发现, 在0-1损失下, 最小风险决策规则就等价于最小误差概率规则.

《模式分类》的笔记-第67页 - 第3章 最大似然估计和贝叶斯参数估计

参数法之参数估计
最大似然估计（和其他类似方法）把待估计的参数看作是确定性的量，只是其取值未知。最佳估计就是使得产生已观测到的样本（即训练样本）的概率为最大的那个值。与此不同的是，贝叶斯估计则把待估计的参数看成是符合某种先验分布的随机变量。对样本进行观测的过程，就是把先验概率密度转化为后验概率密度，这样就利用样本的信息修正了对参数的初始估计值。

《模式分类》的笔记-第138页 - 第4章 非参数技术

公式（27）中，为什么是($1/h_n$)代替了原来($V_n$)的位置呢？
($$
p_n(x) = \frac{1}{n} \sum_{i=1}^n \frac{1}{h_n} \varphi(\frac{x-x_i}{h_n})
$$)