条件付き確率

２つの事象AとBがあって、Aが起こったという条件下でBが起こる確率は

ただし、$P(A) \gt 0$
これが、Aを与えたときのBの条件付き確率という。
$(1)$の分母を払うと $P(A \cap B) = P(B | A) P(A)$
同様に、$P(B) \gt 0$のとき
$P(A \cap B) = P(A | B) P(B)$

更に、事象$A_{1},...,A_{n}$に対して、$P(A_{1} \cap \cdots A_{n}) \gt 0$のとき、
前述の式変形を適用して
$P(A_{1} \cap \cdots \cap A_{n}) = P(A_{n} \mid A_{1} \cap \cdots \cap A_{n-1} ) P(A_{1} \cap \cdots \cap A_{n-1} )$
$= P(A_{n} \mid A_{1} \cap \cdots \cap A_{n-1} ) \times \cdots \times P(A_{3} \mid A_{1} \cap A_{2}) \times P(A_{2} \mid P_{1})P_{1} \cdots (2)$

命題１：全確率の公式

$B_{1}, B_{2}, \dots$を互いに排反な事象の列とし
$P(B_{k}) \gt 0, \bigcup_{k=1}^{\infty}B_{k} = \Omega$
を満たすとき、事象Aの確率は、次のように分解できる。

証明

$A = A \cap (\bigcup_{k=1}^{\infty} B_{k}) = \bigcup_{k=1}^{\infty} (A \cap B_{k})$
より
$P(A) = P( \bigcup_{k=1}^{\infty} (A \cap B_{k})) = \sum_{k=1}^{\infty} P(A | B_{k})P(B_{k})$

命題２：Bayesの定理

$B_{1} , B_{2} \dots$を互いに排反な事象の列として、
$P(B_{k}) \gt 0$ , $\bigcup_{k=1}^{\infty} B_{k} = \Omega$
を満たすとき、任意の事象Aを与えたときの$B_{j}$の条件付き確率$P(B_{j} \mid A)$は
次のように表される。

証明

ここで分母の$P(A)$に全確率の公式を適用すると、命題の式を得る。

条件付き確率の定義より、事象AとBが同時に起こる確率は
$P(A \cap B) = P(A \mid B)P(B)$
ここで、事象Aは事象Bとは全く独立に起こる場合を考えると、
$P(A \mid B) = P(A)$
よって、事象Aと事象Bが互いに独立であるとき
$P(A \cap B) = P(A)P(B)$が成り立つ。

定義

２つの事象AとBが、

を満たすとき、AとBは独立である。

事象の列 $A_{k} \in \Beta, k=1,2,\dots$を考える。$A_{k}$が

• $A_{k} \subset A_{k+1}$ のとき：単調増大列
• $A_{k} \supset A_{k+1}$ のとき：単調増大列

ここで確率について次のような性質が導かれる。

命題

(1) 事象の列 $A_{k} \in \Beta, k=1,2,\dots$が単調増大列のとき
　 $P(\bigcup_{k=1}^{\infty}A_{k}) = \lim_{k \to \infty} P(A_{k})$　（確率の連続性）
(2) 事象の列 $A_{k} \in \Beta, k=1,2,\dots$に対して、
　$P(\bigcup_{k=1}^{\infty} A_{k}) \le \sum_{k=1}^{\infty}P(A_{k})$

証明

(1) $B_{1} = A_{1}, B_{k} = A_{k} \cap A_{k-1}^{C},　k = 2, 3, \dots$
とおくと、$B_{k}$, $k=1,2,\dots$は互いに排反なので（バウムクーヘンの層をイメージ）
　 $P(\bigcup_{k=1}^{\infty}B_{k})=\sum_{k=1}^{\infty}P(B_{k})$
　 また、明らかに$\bigcup_{k=1}^{\infty} B_{k}= \bigcup_{k=1}^{\infty}A_{k}$である。
　 一方、$A_{k}$は単調増加列であるから
$\sum_{k=1}^{n}P(B_{k}) = P( A_{1}) + \sum_{k=2}^{n}\{P(A_{k})-P(A_{k-1})\} = P(A_{n})$
　とかけるので、$n \to \infty$の極限をとって
　$\sum_{k=1}^{\infty} = \lim_{k \to \infty}P(A_{k})$
以上から、(1)が成り立つことが示された。

(2)$P(A \cup B) = P(A) + P(B) - P(A \cap B)$ より、$P(A \cup B) \le P(A) + P(B)$
　これを一般化すると、$P(\bigcup_{k=1}^{n} A_{k}) \le \sum_{k=1}^{n} P(A_{k})$
　ここで、$B_{n}=\bigcup_{k=1}^{n} A_{k}$とおくと、$B_{n} \subset B_{n+1}$となるので
　$B_{n}$は単調増加列。よって、
　$P(\bigcup_{n=1}^{\infty}B_{n}) = \lim_{n \to \infty}P(B_{n})$
　$= \lim_{n \to \infty}P(\bigcup_{k=1}^{n} A_{k})\le\sum_{k=1}^{\infty}P(A_{k})$
　以上から、(2)が成り立つことが示された。