information_theory

阶乘$x!$与$\left(\begin{array}{c}N\\ r\end{array}\right)$

推导斯特林的近似值：

平均值为 λ 的泊松分布为

$$P(r|\lambda )=e^{-\lambda }\frac{{\lambda }^r}{r!}r\in \{0,1,2,\dots \}$$

对于较大的 $\lambda$，至少在 $r\simeq \lambda$ 附近，这种分布可以很好地近似于均值为 $\lambda$、方差为 $\lambda$ 的高斯分布：

$$e^{-\lambda }\frac{{\lambda }^r}{r!}\simeq \frac{1}{\sqrt{2\pi \lambda }}{e}^{-\frac{(r-\lambda {)}^2}{2\lambda }}$$

把 $r=\lambda$ 插到这个公式中：

$$\begin{array}{rcl}{e}^{-\lambda }\frac{{\lambda }^{\lambda }}{\lambda !}& \simeq & \frac{1}{\sqrt{2\pi \lambda }}\\ \Rightarrow \lambda !& \simeq & {\lambda }^{\lambda }{e}^{-\lambda }\sqrt{2\pi \lambda }\end{array}$$

阶乘函数的斯特林近似：

$$\begin{array}{ccc}x!\simeq x^x{e}^{-x}\sqrt{2\pi x}& \iff & \ln x!\simeq x\ln x-x+\frac{1}{2}\ln 2\pi x\end{array}$$

现在我们将斯特林近似应用到$\left(\begin{array}{c}N\\ r\end{array}\right)$：

$$\ln \left(\begin{array}{c}N\\ r\end{array}\right)\equiv \ln \frac{N!}{(N-r)!r!}\simeq (N-r)\ln \frac{N}{N-r}+r\ln \frac{N}{r}$$

现在我们用 "ln "表示自然对数$({\log }_e)$，用 "log "表示以 2 为底的对数$({\log }_2)$

如果我们引入二元熵函数，

$$H_2(x)\equiv x\log \frac{1}{x}+(1-x)\log \frac{1}{(1-x)}$$

可以将式子重写为

$$\log \left(\begin{array}{c}N\\ r\end{array}\right)\simeq N{H}_2(r/N)$$

以及更加精确的解：

$$\log \left(\begin{array}{c}N\\ r\end{array}\right)\simeq N{H}_2(r/N)-\frac{1}{2}\log \left[2\pi N\frac{N-r}{N}\frac{r}{N}\right]$$

未完待续~~~