ベイズ統計¶

ベイズ統計学とは、ベイズの定理を基礎とした統計学の体系

事前確率と事後確率¶

事前確率 データを手に入れる前に想定していた確率
事後確率 データを用いて事前確率を修正した結果の確率

ざっくりとした例¶

ある朝、目が覚めたとき、今日の天気は雨か晴れかわからないなと思った。何となく、今日晴れる確率は50%かなと想像した。この50%が事前確率。

その後、窓の外を見ると、日の出はとっくに過ぎているのに外がどんよりとして曇っていた。この結果を見て、雨が降る確率は80%くらいじゃないのかなぁと思い直した(修正した)。この80%が事後確率。

ベイズ更新¶

事前確率を観測結果や測定結果をうけて修正して、事後確率にする流れを、数値を使って追ってみる。

条件(仮定)
- とある学級に男子生徒が10人、女子生徒が10人、いたとする。
- 男子生徒10人のうち、1人は赤い鞄を持っている。
- 女子生徒10人のうち、3人は赤い鞄を持っている。
命題その学級の教室の中をみると、学級の生徒が一人だけいたとする。その人は、女子生徒と男子生徒のどちらであるか?

何も情報がなければ、男子生徒である確率も、女子生徒である確率も「50%」だと推測する。この「50%」が事前確率。

次は、観測結果や測定結果のデータが手に入ったことによる、事前確率の変化について。

観測結果 教室の前に赤い鞄が置いてあった。

条件により女子生徒の方が、赤い鞄を持っている確率が高い。学級の生徒全員で見ると、20人中4人、すなわち20％の人が赤い鞄を持っている。一方、女性だけでみると、10人中3人、すなわち30%の人が赤い鞄を持っている。

30÷20=1.5 なので、「女性はクラス平均の1.5倍、赤い鞄を持ちがち」ということになる。「教室の前には赤い鞄が置かれている。」という観測結果をうけて、「部屋の中にいる人は、1.5倍、女子生徒でありやすい」と推察される。

教室の中にいる人が女子生徒である確率は、事前確率を1.5倍した50×1.5＝75%となる。事前確率が、「赤い鞄が置いてある」というデータによって1.5倍されたことにより、変化した結果の「75%」という確率を、事後確率という。

このように、データを用いて事前確率を変化させることを「 ベイズ更新 」あるいは「 ベイジアンアップデート 」などと呼ぶ。

データと事前確率と事後確率の関係¶

事前確率とは「データを手に入れる前に想定していた確率」のことです。ただし、これはデータを全く持っていないことを意味しているわけではない。事前確率と事後確率は、あくまでも追加でデータが得られる、その前後の確率を指す。

例えば、上の例で「赤い鞄が置かれている」というデータが得られたことにより、、事前確率50％が、事後確率75％に変化した。この時の事前確率と事後確率は以下のようになる。

事前確率 : 学級の構成人数のみから判断した確率
事後確率 :「赤い鞄が置かれている」という観測結果をうけて更新された確率

さらに、例えば教室の前に黄色いハンカチが落ちていたと仮定する。男子生徒で、赤い鞄を持っていて、かつ黄色いハンカチを持ってきている人はいないということが既知だとする。その場合、部屋の中にいる人は100％女子学生だと判断できる。この時の事前確率と事後確率は以下のようになる。

事前確率 :「赤い鞄が置かれている」という観測結果を用いて導いた確率
事後確率 :「黄色いハンカチが落ちている」という追加の観測結果をうけてさらに更新された確率

このように、データが追加されるたびに、事前確率を更新して、事後確率を計算する。

ベイズの定理¶

ベイズの定理とは、上記のベイズ更新を数式で書き下したものにほかならない。

事後確率 = 事前確率 \times 修正項

(修正項: データが追加されることによる変化率を指す)

修正項について、上記の例にそってもう少し書き下してみると、

事後確率 = 事前確率 \times \frac{教室に女子生徒がいるという状況で、その人が赤いカバンを持っている確率}{学級全体で赤いカバンを持っている確率}

上記の例では「学級平均よりも、女子生徒の方が1.5倍赤い鞄を持ちやすい」だったので、事前確率を1.5倍して、事後確率75％を求めた。

もう少し一般化すると、以下のようになる。

事後確率 = 事前確率 \times \frac{ある状況で、そのデータが得られる確率}{平均的に、そのデータが得られる確率}

事前確率は「その状況が正しいといえる確率」事後確率は「とあるデータが手に入った後に、その状況が正しいといえる確率」

我々が知りたいことは「教室の中の状況」であるが、何らかの理由で教室の中を直接観測することができない。すなわち、教室の中の状況に関するデータを取得できない。そこで、ベイズ更新を使って、見ることのできないブラックボックスの内部(例でいう教室の中の状況)を推察することになる。

ベイズの定理の数式化¶

ベイズの定理の数式は以下のようになる

ベイズの定理 $$ \begin{aligned} P\left(\theta|X\right) &= P(\theta)\times\frac{P\left(X|\theta\right)}{P(X)} \ &= \frac{P\left(X|\theta\right)P(\theta)}{P(X)} \end{aligned} $$

二行目の形式で書くのが一般的。真ん中の形式の方がベイズ更新を解釈しやすい。 $P(X)$: $X$ というデータが得られる平均的な確率 $P(\theta)$: $\theta$ という見えない内部の状況である確率

上記の例でいうと、それぞれ - $X$:「赤い鞄が置かれている」という我々が観測できるデータ - $\theta$:「部屋の中に女子生徒がいる」という我々が観測できない状況 - $P(X)$: 学級平均での、赤い鞄を持っている確率 - $P(\theta)$: 「部屋の中に女性がいる」という状況である事前確率

括弧内に縦棒($|$)が入っている場合、縦棒の右側が条件を表す。例えば $P(部屋の中に女性がいる | 赤い鞄が置かれている)$ の場合、「赤い鞄が置かれているというデータが手に入ったという条件での、教室内に女子生徒がいる確率」を表す。これが、 $P(\theta|X)$ で、「事後確率」である。逆に、 $P(X|\theta)$ は「教室内に女子生徒がいるという状況で、赤い鞄が置かれている確率」を表す。