《模式分类》章节试读

《模式分类》的笔记-第33页 - 2.5.2 Multivariate Density

FIGURE 2.8如图所示，超椭球如何经过A转换为超球呢？我们理一理这个变换。
定义输入($$\large p\left(\mathbf{x} \right )\sim N \left(\mathbf{\mu},\mathbf{\Sigma} \right)$$)转换矩阵($$\large \mathbf{A}\in \mathbf{R}^{d\times k},\;\; \mathbf{y}=\mathbf{A}^{t}\mathbf{x}$$) 则有($$\large p\left(\mathbf{y} \right )\sim N \left(\mathbf{A}^{t}\mathbf{\mu},\mathbf{A}^{t}\mathbf{\Sigma}\mathbf{A} \right)$$)将超椭球转换为超球的转换矩阵($$\large \mathbf{A}_{w}=\mathbf{\Phi }\mathbf{\Lambda} ^{-1/2}\mathbf{\Phi }^{t}$$)，其中($\Phi$)由($\Sigma$)的正交的特征向量组成，($\Lambda$)是一个对角阵，其元素为($\Phi$)中相应特征向量的特征值。这里关键在于如何将($\Sigma$)转换为($\mathbf{I}$)。弱弱地验证一下，不足之处望方家指点。
设($$\large \Phi=\left ( x_{1},x_{2}\cdots x_{l} \right )$$) 这个可以有($$\large \mathbf{A}_{w}^{t}\mathbf{\Sigma }\mathbf{A}_{w}=\mathbf{\Phi }\left(\mathbf{\Lambda }^{-1/2}\right)^{t}\mathbf{\Phi }^{t}\mathbf{\Sigma }\mathbf{\Phi }\mathbf{\Lambda }^{-1/2}\mathbf{\Phi }^{t}$$) 先来看看($\mathbf{\Phi }^{t}\mathbf{\Sigma }\mathbf{\Phi }$)，将($\Phi$)展开，其中($\mathbf{w}$)是($\Phi$)的特征向量，正交向量($\large x_{i}x_{j}=0\left(i\neq j \right )$)。($$\large \begin{align*}
\mathbf{\Phi }^{t}\mathbf{\Sigma }\mathbf{\Phi } &= \begin{bmatrix}
\mathbf{w}_{1}^{t}\\ \mathbf{w}_{2}^{t}\\ \vdots \\ \mathbf{w}_{l}^{t}
\end{bmatrix}\mathbf{\Sigma }\begin{bmatrix}
\mathbf{w}_{1} & \mathbf{w}_{2} & \cdots & \mathbf{w}_{l}
\end{bmatrix}\\
&= \begin{bmatrix} \mathbf{w}_{1}^{t}\\ \mathbf{w}_{2}^{t}\\ \vdots \\ \mathbf{w}_{l}^{t}
\end{bmatrix}\begin{bmatrix}
\mathbf{\Sigma }\mathbf{w}_{1} & \mathbf{\Sigma }\mathbf{w}_{2} & \cdots & \mathbf{\Sigma }\mathbf{w}_{l}
\end{bmatrix}\\
&= \begin{bmatrix} \mathbf{w}_{1}^{t}\\ \mathbf{w}_{2}^{t}\\ \vdots \\ \mathbf{w}_{l}^{t}
\end{bmatrix}\begin{bmatrix}
\lambda_{1}\mathbf{w}_{1} & \lambda_{2}\mathbf{w}_{2} & \cdots & \lambda_{l}\mathbf{w}_{l}
\end{bmatrix} \\
&= \begin{bmatrix}
\lambda_{1}\mathbf{w}^{t}\mathbf{w} & & & \\
& \lambda_{2}\mathbf{w}^{t}\mathbf{w} & & \\
& & \ddots & \\
& & & \lambda_{n}\mathbf{w}^{t}\mathbf{w}
\end{bmatrix}
\end{align*}$$)代入原式得($$\large \begin{align*}
\mathbf{A}_{w}^{t}\mathbf{\Sigma }\mathbf{A}_{w} &= \mathbf{\Phi }\left(\mathbf{\Lambda }^{-1/2}\right)^{t}\mathbf{\Phi }^{t}\mathbf{\Sigma }\mathbf{\Phi }\mathbf{\Lambda }^{-1/2}\mathbf{\Phi }^{t} \\
&=\mathbf{\Phi }\left(\mathbf{\Lambda }^{-1/2}\right)^{t} \begin{bmatrix}
\lambda_{1}\mathbf{w}^{t}\mathbf{w} & & & \\
& \lambda_{2}\mathbf{w}^{t}\mathbf{w} & & \\
& & \ddots & \\
& & & \lambda_{n}\mathbf{w}^{t}\mathbf{w}
\end{bmatrix} \mathbf{\Lambda }^{-1/2}\mathbf{\Phi }^{t}\\
&= \mathbf{\Phi }\begin{bmatrix}
\mathbf{w}^{t}\mathbf{w} & & & \\
& \mathbf{w}^{t}\mathbf{w} & & \\
& & \ddots & \\
& & & \mathbf{w}^{t}\mathbf{w}
\end{bmatrix}\mathbf{\Phi }^{t}\\
&= \begin{bmatrix}
\mathbf{w}\mathbf{w}^{t}\mathbf{w}\mathbf{w}^{t} & & & \\
& \mathbf{w}\mathbf{w}^{t}\mathbf{w}\mathbf{w}^{t} & & \\
& & \ddots & \\
& & & \mathbf{w}\mathbf{w}^{t}\mathbf{w}\mathbf{w}^{t}
\end{bmatrix}\\
&=I
\end{align*}$$) 如此一来，超椭球的各半径就相等，从而变成超球。