最大似然估计是一种用于估计概率模型参数的方法。它的基本思想是选择那些能使得观测数据出现概率最大的参数值。下面我将给出两个最大似然估计的例题。
例题1：二项分布
假设总体 $X$ 服从二项分布 $B（1, p）$，即 $X$ 是一个伯努利随机变量，取值为 0 或 1。样本 $X_1, X_2, \ldots, X_n$ 是从 $X$ 抽取的一个样本。我们需要求参数 $p$ 的最大似然估计量。
写出似然函数
样本 $X_1, X_2, \ldots, X_n$ 的似然函数为：
$$
L（p） = \prod_{i=1}^{n} p^{X_i} （1-p）^{1-X_i}
$$
其中，$X_i$ 取值为 0 或 1。
取对数似然函数
$$
\ell（p） = \ln L（p） = \sum_{i=1}^{n} \left[ X_i \ln p + （1 - X_i） \ln （1 - p） \right]
$$
求导并令导数为 0
$$
\frac{d\ell（p）}{dp} = \sum_{i=1}^{n} \left[ \frac{X_i}{p} - \frac{1 - X_i}{1 - p} \right] = \frac{1}{p} \sum_{i=1}^{n} X_i - \frac{n}{1 - p} \sum_{i=1}^{n} （1 - X_i）
$$
令 $\frac{d\ell（p）}{dp} = 0$，得到：
$$
\frac{1}{p} \sum_{i=1}^{n} X_i = \frac{n}{1 - p} \sum_{i=1}^{n} （1 - X_i）
$$
解方程
$$
\sum_{i=1}^{n} X_i （1 - p） = p \sum_{i=1}^{n} （1 - X_i）
$$
$$
\sum_{i=1}^{n} X_i - p \sum_{i=1}^{n} X_i = p \sum_{i=1}^{n} 1 - p \sum_{i=1}^{n} X_i
$$
$$
\sum_{i=1}^{n} X_i = p \left（ \sum_{i=1}^{n} 1 - \sum_{i=1}^{n} X_i \right）
$$
$$
\sum_{i=1}^{n} X_i = p n - p \sum_{i=1}^{n} X_i
$$
$$
2 \sum_{i=1}^{n} X_i = p n
$$
$$
p = \frac{2 \sum_{i=1}^{n} X_i}{n}
$$
最大似然估计量
$$
\hat{p} = \frac{2 \sum_{i=1}^{n} X_i}{n}
$$
例题2：正态分布
假设总体 $X$ 服从正态分布 $N（\mu, \sigma^2）$，样本 $X_1, X_2, \ldots, X_n$ 是从 $X$ 抽取的一个样本。我们需要求参数 $\mu$ 和 $\sigma^2$ 的最大似然估计量。
写出似然函数
样本 $X_1, X_2, \ldots, X_n$ 的似然函数为：
$$
L（\mu, \sigma^2） = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{（x_i - \mu）^2}{2\sigma^2}}
$$
取对数似然函数
$$
\ell（\mu, \sigma^2） = \ln L（\mu, \sigma^2） = \sum_{i=1}^{n} \left[ -\frac{1}{2} \ln （2\pi\sigma^2） - \frac{（