最大似然估计

机器学习

目的

有时候，直接估计条件概率密度函数很难，因此将概率密度估计问题转化为参数估计问题，极大似然法就是一种参数估计问题。

重要前提

训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件)，且有充分的训练样本。

基本内容

极大似然估计的基本内容是：利用已知的样本结果，反推最有可能导致这样结果的参数值。似然函数指联合概率密度函数关于每个样本以及需要估计的参数的函数。一般形式为：
$$L(\theta) = f(x_{1}, x_{2}, … ,x_{n};\theta)$$

一般步骤

求最大似然估计量的一般步骤：

1. 由总体分布导出样本的联合概率函数（或联合密度）；
2. 把样本联合概率函数的自变量看成是已知常数，而把θθ看做是自变量，得到似然函数$L(\theta)$;
3. 求似然函数的最大值（常常取对数，然后求驻点）；
4. 用样本值带入得到参数的最大似然估计

最大似然估计的特点：

1. 比其他估计方法更加简单；
2. 收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；
3. 如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

最大似然估计(MLE)和最小二乘法估计(LSE)的区别

最小二乘法估计的目的是让估计量最好地拟合样本数据，也就是让估计值与样本值之差的平方和最小
$$Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}$$

参考

极大似然估计详解

本文由 Eric_fish 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名