让我们回到小球检测的栗子,在一元高斯分布下,我们只使用了色相值这一个性质。然而,颜色其实是用多个维度来定义的。比如,在HSV模型下,除了色相值还有饱和度(Saturation)和亮度(Value)。而我们通常使用的三原色光模式(RGB模型)将颜色表示成红色(R)、绿色(G)和蓝色(B)的叠加。如果我们用RGB值来表示一个颜色,怎样表示我们栗子中的小球呢?我们将图片中所有像素点的RGB值用散点图的形式画出来可以得到下面的图:

多元高斯分布-风君雪科技博客

那我们怎样对这种图形进行建模呢?如这一节的题目所说,我们将一元高斯分布扩展到多元高斯分布并对RGB值进行建模。
让我们首先来介绍多元高斯分布的数学形式吧:

多元高斯分布-风君雪科技博客

多元高斯分布和一元高斯分布是十分相似的,我们用加粗的多元高斯分布-风君雪科技博客来表示变量(一个向量),多元高斯分布-风君雪科技博客表示维度(元的数目),加粗的多元高斯分布-风君雪科技博客表示平均向量,大写的多元高斯分布-风君雪科技博客表示协方差矩阵(Covariance Matrix,是一个方阵),多元高斯分布-风君雪科技博客表示多元高斯分布-风君雪科技博客的行列式值,多元高斯分布-风君雪科技博客表示矩阵多元高斯分布-风君雪科技博客的转置。

值得一提的是协方差矩阵,它由两部分组成,方差(Variance)和相关性(Correlation),对角线上的值表示方差,非对角线上的值表示维度之间的相关性。拿一个二维协方差矩阵作栗子:

多元高斯分布-风君雪科技博客

其中,对角线上的多元高斯分布-风君雪科技博客多元高斯分布-风君雪科技博客分别表示变量多元高斯分布-风君雪科技博客多元高斯分布-风君雪科技博客的独立方差,非对角线上的多元高斯分布-风君雪科技博客表示两个变量之间的相关性(注意多元高斯分布-风君雪科技博客多元高斯分布-风君雪科技博客是相等的)。

回到小球检测的栗子,我们考虑用RGB来对“红色”小球进行多元高斯分布的建模,那么各个参数就如下图所示了:

多元高斯分布-风君雪科技博客我们来看一下标准二元高斯分布图:

多元高斯分布-风君雪科技博客

2、求解多元高斯分布:最大似然估计

和求解一元高斯分布类似,我们将问题描述为:给定观测值多元高斯分布-风君雪科技博客,求多元高斯分布-风君雪科技博客多元高斯分布-风君雪科技博客,使得似然函数最大:

多元高斯分布-风君雪科技博客

同样,假设观测值两两相互独立,根据独立概率公式,我们有:

多元高斯分布-风君雪科技博客

同样(1)取对数,(2)将多元高斯分布的形式带入,我们有:

[公式]

我们给目标函数做个记号,令

多元高斯分布-风君雪科技博客

我们仍然分别对多元高斯分布-风君雪科技博客多元高斯分布-风君雪科技博客求偏导来计算多元高斯分布-风君雪科技博客多元高斯分布-风君雪科技博客。(这里需要矩阵求导的知识,可以参考Matrix Calculus Manual

[公式][公式]

求得,

多元高斯分布-风君雪科技博客

多元高斯分布-风君雪科技博客