PRML 1章解答 - k's diary

PRMLの演習問題の解答を書いてみることにしました。
数学の知識は数Ⅲ、Cレベルまでしかないので正確性は求めないでください。あくまで、理解できればいいということで。
もちろんすべての解答を書くとは限りません。
当面は基本問題中心で...

1.5

期待値の公式を使って計算します。公式はこちらにまとまっています。

期待値と分散に関する公式一覧 | 高校数学の美しい物語

$var[f] = E[(f(x) - E[f(x)])^{2}]$

2乗を展開して、期待値の中身を分解する

$= E[f(x)^{2}] - E[2f(x)E[f(x)] + E[f(x)]^{2}$

ここで $E[f(x)]$ を定数と考えると

$= E[f(x)^{2}] - E[f(x)]E[2f(x)] + E[f(x)]^{2}$

$= E[f(x)^{2}] - 2E[f(x)]^{2} + E[f(x)]^{2}$

$= E[f(x)]^{2} - E[f(x)^{2}]$

1.6

共分散の定義は

$cov[x,y] = E_{x,y}[\{x - E[x]\}\{y - E[y]\}]$

であり、展開すると
( $E[x], E[y]$ は定数であるので公式 $E[x+a] = E[x] + a$ を使った)

$E_{x,y}[\{x - E[x]\}\{y - E[y]\}] = E_{x,y}[xy] - E_{x,y}[yE[x]] - E_{x,y}[xE[y]] + E[x]E[y]$

x,yは独立なので( $E[xy] = E[x]E[y]$ が成り立つ)、また1.5と同様に $E[x], E[y]$ は定数であり、

$= E_{x,y}[x]E_{x,y}[y] - E[x]E_{x,y}[y] - E[y]E_{x,y}[x] + E[x]E[y]$

因数分解すると

$= (E_{x,y}[x] - E[x])(E_{x,y}[y] - E[y])$

ここで期待値の定義より

$E_{x,y}[x] - E[x] = \int\int p(x,y)xdxdy - \int p(x)xdx$

x,yは独立なので $p(x,y) = p(x)p(y)$ が成り立つので

$= \int p(x)xdx \int p(y)dy - \int p(x)xdx$

p(y)は確率密度なので $\int p(y)dy = 1$ であるから

$= \int p(x)xdx - \int p(x)xdx = 0$

よって

$E_{x,y}[\{x - E[x]\}\{y - E[y]\}] = 0$

1.11

$\displaystyle \ln{p({\sf x}|\mu,\sigma)} = -\frac{1}{2\sigma^{2}}\sum_{n=1}^{N}(x_n-\mu)^{2} - \frac{N}{2}\ln{\sigma^{2}} - \frac{N}{2}\ln{(2\pi)}$

ここで

$\displaystyle \frac{1}{2\sigma^{2}}\sum_{n=1}^{N}(x_n-\mu)^{2} = \frac{1}{2\sigma^{2}}\sum_{n=1}^{N}(x_n^{2} - 2\mu x_n + \mu^{2})$

$\displaystyle \frac{1}{2\sigma^{2}}\sum_{n=1}^{N}x_n^{2} + \frac{\mu}{\sigma^{2}}\sum_{n=1}^{N}x_n - \frac{N\mu^{2}}{2\sigma^{2}}$

よって対数尤度関数を $\mu$ で微分すると0になるので

$\displaystyle \frac{d\ln{p({\sf x}|\mu,\sigma^{2})}}{d\mu} = \frac{1}{\sigma^{2}}{\sum_{n=1}^{N}x_n} - \frac{N\mu}{\sigma^{2}} = 0$

よって

$\displaystyle N\mu = \sum_{n=1}^{N}x_n$

$\displaystyle \mu = \frac{1}{N}\sum_{n=1}^{N}x_n$

1.55が示された

$\sigma^{2}$ が最大になるとき、対数尤度関数を $\sigma^{2}$ で微分すると0になるので

$\displaystyle \frac{d\ln{p({\sf x}|\mu,\sigma^{2})}}{d\sigma^{2}} = \frac{1}{2(\sigma^{2})^{2}}\sum_{n=1}^{N}(x_n-\mu)^{2} - \frac{N}{2\sigma^{2}} = 0$

両辺に $2(\sigma^{2})^{2}$ を掛けて

$\displaystyle N\sigma^{2} = \sum_{n=1}^{N}(x_n - \mu) ^ {2}$

よって

$\displaystyle \sigma^{2} = \frac{1}{N}\sum_{n=1}^{N}(x_n - \mu) ^ {2}$

1.56が示された

1.12

テキストに書かれている通り最尤解（ $\mu_{ML},\sigma_{ML}^{2}$ ）は $x_1,...x_N$ の関数であることに注意する。 $n = m$ のとき1.50より

$E[x_nx_m] = E[x_n^{2}] = \mu^{2} + \sigma^{2}$

$I_{nm} = 1$ なので

$E[x_nx_m] = \mu^{2} + I_{nm}\sigma^{2}$

$n \neq m$ のとき $x_nとx_m$ は独立なのと、1.49より

$E[x_nx_m] = E[x_n]E[x_m] = \mu^{2}$

$I_{nm} = 0$ なので

$E[x_nx_m] = \mu^{2} + I_{nm}\sigma^{2}$

(1.130)が示された。また、

$\displaystyle E[\mu_{ML}] = E[\frac{1}{N}\sum_{n=1}^{N}x_n]$

$\displaystyle = \frac{1}{N} \sum_{n=1}^{N} E[x_n]$

$E[x] = \mu$ より

$= \frac{1}{N} N\mu = \mu$

よって1.57が示された。

また、

$\displaystyle E[\sigma_{ML}^{2}] = E[\frac{1}{N} \sum_{n=1}^{N}(x_n - \mu_{ML})^{2}]$

$\displaystyle = \frac{1}{N} \sum_{n=1}^{N} E[(x_n - \mu_{ML})^{2}]$

$\displaystyle = \frac{1}{N} \sum_{n=1}^{N} E[x_n^{2} - 2x_n\mu_{ML} + \mu_{ML}^{2}]$

ここで $\displaystyle E[x_n^{2} - 2x_n\mu_{ML} + \mu_{ML}^{2}] = E[x_n^{2}] - 2E[x_n\mu_{ML}] + E[\mu_{ML}^{2}] \tag{1}$

(1)の第1項は

$E[x_n^{2}] = \mu^{2} + \sigma^{2}$

(1)の第2項は

$\displaystyle -2E[x_n\mu_{ML}] = -2E[x_n \frac{1}{N}\sum_{m=1}^{N}x_m]$

$\displaystyle = -\frac{2}{N} \sum_{m=1}^{N} E[x_nx_m]$

(1.130)より

$\displaystyle = -\frac{2}{N} \{(N-1)\mu^{2} + \mu^{2} + \sigma^{2}\}$

$\displaystyle = -2\mu^{2} -\frac{2}{N} \sigma^{2}$

(1)の第3項は

$\displaystyle E[\mu_{ML}^{2}] = E[(\frac{1}{N} \sum_{n=1}^{N}x_n)^{2}]$

この変形が肝！

$\displaystyle = \frac{1}{N^{2}} \sum_{n=1}^{N} \sum_{m=1}^{N} E[x_nx_m]$

(1.130)より

$\displaystyle = \frac{1}{N^{2}} \{N(\mu^{2} + \sigma^{2}) + (N^{2}-N)\mu^{2}\}$

$\displaystyle = \frac{1}{N} (\mu^{2} + \sigma^{2} + N\mu^{2} - \mu^{2}) = \frac{\sigma^{2}}{N} + \mu^{2}$

よって(1)は

$\displaystyle \sigma^{2} - \frac{1}{N}\sigma^{2} = (\frac{N-1}{N})\sigma^{2}$

よって

$\displaystyle E[\sigma_{ML}^{2}] = \frac{1}{N} \sum_{n=1}^{N} (\frac{N-1}{N})\sigma^{2} = (\frac{N-1}{N})\sigma^{2}$

これで1.58が示された。

参考

第１章序論 - Google ドライブ