# lecture4

# 確率論の基礎概念その３：独立性と条件付き期待値

今回は独立性と条件付き期待値についてである。

特に条件付き期待値なんて簡単なオブジェクトだと思われているのではないだろうか。

それは以下の素朴な定義で十分な状況しか見たことがないからである。

素朴な定義

確率空間 \((\Omega, \mathcal F, P)\)に対して、事象 \(A,B\in \mathcal F\) を取ってきて、 - 事象Bに条件つけた事象Aの条件付き確率を \(P(A\mid B)\)とかく。この値を \[ P(A\mid B) = \frac{P(A\bigcap B)}{P(B)}\qquad (P(B)>0) \]

と定義する

- 事象Bに条件つけた確率変数Xの条件付き期待値を \(E[X\mid B]\) とかく。この値を

\[ E[X\mid B] = \sum_{x} x P(X = x\mid B) \]

と定義する。ここで \(P(X = x\mid B)\) は上で定義した条件付き確率で、事象Bが起きてることに条件つけた時のXが値xをとる確率である。

今回はまず、この素朴な定義ではなぜ困るのかについて話す。

# モチベーション

素朴な定義だけを見ると，条件付き期待値とは

- 「ある事象が起きたと仮定したときの平均」
- 「部分集団に限定した平均」

くらいのものに見える。
実際，離散的な確率変数しか扱わない初等確率では，それでほとんど困らない。

しかし，計量経済学や統計学で条件付き期待値を使うとき，我々が本当に条件をつけたい対象は，たいてい単なる事象 \(B\) ではない。
むしろ，

- ある確率変数 \(Y\) の値がわかっているときの \(X\) の平均
- 説明変数 \(X\) が与えられたときの従属変数 \(Y\) の平均
- 手元にある情報 \(\mathcal G\) が与えられたときの将来の収益やショックの平均

のようなものである。

例えば回帰分析で登場する

\[ E[Y\mid X] \]

は，「\(X=x\) という事象に条件をつけた期待値」を \(x\) ごとに並べたものだと思いたくなる。
しかし，この理解はすぐに危うくなる。

## 事象に条件をつけるだけでは足りない

まず，\(E[Y\mid X]\) と書いた瞬間，我々はもはや一つの事象に条件をつけているのではない。
\(X\) の値がわかっている，という情報全体に条件をつけている。

しかも，\(X\) が連続型確率変数だとすると，通常は

\[ P(X=x)=0 \]

である。
したがって，素朴な定義に従って

\[ E[Y\mid X=x] \]

を

\[ E[Y\mid X=x] = \sum_y y\,P(Y=y\mid X=x) \]

のように書こうとしても，そもそも

\[ P(Y=y\mid X=x) = \frac{P(Y=y,\ X=x)}{P(X=x)} \]

という比は分母が \(0\) になってしまい，意味をなさない。

つまり，回帰分析で最も基本的なオブジェクトである \(E[Y\mid X]\) ですら，素朴な定義では扱えない。

## 条件付き期待値は「数」ではなく「確率変数」である

さらに重要なのは，\(E[Y\mid X]\) は普通の期待値 \(E[Y]\) のような一つの数ではないということである。

\(E[Y]\) は定数である。
しかし \(E[Y\mid X]\) は，\(X\) の値に応じて変わる量であり，実際には \(X\) の関数になっている。
したがってそれ自体が確率変数である。

例えば，\(Y\) を試験の点数，\(X\) を勉強時間とすると，

\[ E[Y\mid X] \]

は「勉強時間がわかっているときに予想される平均点」である。
勉強時間が 1 時間の人と 10 時間の人ではこの値は違ってよい。したがってこれは，\(\omega\) ごとに値をとるランダムな対象である。

この時点で，条件付き期待値を単なる「条件つきの平均値」として一つの数字だと思っている理解は破綻する。

## 「何がわかっているか」を事象ではなく情報で表したい

現実の応用では，「条件をつける」とはたいてい「ある情報が手に入っている」ことを意味する。

たとえば，

- サイコロの出目そのものがわかっている
- コイン投げの結果のうち，表か裏かだけがわかっている
- 株価過程の過去の履歴だけが観測されている
- 説明変数の集合は観測されているが，誤差項は観測されていない

といった状況では，「条件」とは単一の事象ではなく，観測可能な情報の集まりである。

確率論では，この「情報の集まり」を \(\sigma\)-加法族で表す。
したがって，本当に一般的な条件付き期待値は

\[ E[X\mid \mathcal G] \]

という形で定義されるべきである。ここで \(\mathcal G\subseteq \mathcal F\) は，「今わかっている情報」を表す \(\sigma\)-加法族である。

この書き方は最初は抽象的に見えるかもしれないが，実は応用上はこちらの方が本質的である。
というのも，

\[ E[Y\mid X] \]

という記法も，本当は「\(X\) が生成する情報」に条件をつけた

\[ E[Y\mid \sigma(X)] \]

の略記だからである。

## 条件付き期待値は回帰そのものである

計量経済学で条件付き期待値が決定的に重要なのは，回帰分析の本質がまさにこれだからである。

我々が知りたいのはしばしば

\[ m(x)=E[Y\mid X=x] \]

という関数である。
線形回帰

\[ Y=\beta_0+\beta_1 X+u \]

において外生性

\[ E[u\mid X]=0 \]

を仮定するのも，結局は

\[ E[Y\mid X]=\beta_0+\beta_1 X \]

という条件付き期待値の構造を仮定していることにほかならない。

したがって，条件付き期待値を厳密に理解することは，単に確率論の抽象的な定義を覚えることではない。
それは，回帰分析とは何をしているのかを理解することそのものである。

## 今回やること

以上を踏まえると，条件付き期待値を厳密に定義するときに必要なのは，次の2点である。

1. 条件をつける対象を，単なる事象ではなく，情報を表す \(\sigma\)-加法族として捉えること
2. 条件付き期待値を，一つの数ではなく，その情報に関して可測な確率変数として定義すること

この講義では，まず「条件付き期待値とはどういう性質を持つべきか」を明確にし，その後で厳密な定義を与える。
そして最後に，それが通常の回帰分析や反復期待値の法則とどうつながるかを見る。

# 独立性

まずは独立性から導入する。教科書によって導入や独立性の定義の仕方、特に確率変数の独立性の定義の仕方は異なる。

このlecture noteでは舟木「確率論」に基本的には則って導入する。

## 事象の独立性

まず、事象 \(A, B\in \mathcal F\)の独立性について定義する。

定義(事象の独立性) \(A,B\in \mathcal F\)が独立であるとは \[ P(A\bigcap B) = P(A)P(B) \]

が成立することを指す。

補題(同値な主張) 以下は同値

- \(A,B\)が独立
- \(A^c, B\)が独立
- \(A,B^c\)が独立
- \(A^c, B^c\)が独立

この補題は以下の含意を持つ。

\(A\) を含む最小の \(\sigma-\) 代数は \(\mathcal F_{A} = \{\emptyset, A,A^c, \Omega\}\) である。同様に、\(B\) を含む最小の \(\sigma-\) 代数は \(\mathcal F_{B} = \{\emptyset, B,B^c, \Omega\}\) である。この時、

\(A\) と \(B\) が独立ならば、\(\forall C_1\in \mathcal F_A,\ \forall C_2 \in \mathcal F_{B}\)に対して、

\[ P(C_1\bigcap C_2) = P(C_1)P(C_2) \]

である。

これは \(\mathcal F_A\) と \(\mathcal F_B\) が独立っぽいと言ってもいい気がする。なぜなら、どちらの \(\sigma-\) 代数に含まれる情報（事象）のどれを取ってきても、その情報が独立だからである。

実際、このようにして \(\sigma-\)代数の独立性を定義する。

## \(\sigma-\)代数の独立性

定義(\(\sigma-\)代数二つの独立性) \(\mathcal{F}_1\) と \(\mathcal{F}_2\) を \(\mathcal{F}\) の部分 \(\sigma\)-加法族，すなわち各 \(\mathcal{F}_k\)（\(k=1,2\)）は \(\sigma\)-加法族で，\(\mathcal{F}_k \subset \mathcal{F}\) を満たすとして \(\mathcal{F}_1\) と \(\mathcal{F}_2\) が独立であるとは，任意の \(C_1 \in \mathcal{F}_1\) と \(C_2 \in \mathcal{F}_2\) に対して

\[ P(C_1 \cap C_2) = P(C_1)P(C_2) \]

が成立するときにいう．

この定義をさらに一般化して

定義 (\(\sigma-\)代数たくさんの独立性)
(1) \(\mathcal{F}_1, \mathcal{F}_2, \ldots, \mathcal{F}_n\) を \(\mathcal{F}\) の部分 \(\sigma\)-加法族として \(\mathcal{F}_1, \mathcal{F}_2, \ldots, \mathcal{F}_n\) が独立（independent あるいは jointly independent）であるとは，任意の \(C_k \in \mathcal{F}_k\)（\(1 \leq k \leq n\)）に対して

\[ P(C_1 \cap C_2 \cap \cdots \cap C_n) = \prod_{k=1}^{n} P(C_k) \]

が成立するときにいう．

また，（一般に非可算の）集合 \(\Lambda\) でパラメータづけられた \(\mathcal{F}\) の部分 \(\sigma\)-加法族の集まり \(\{\mathcal{F}_k\}_{k \in \Lambda}\) が独立であるとは，\(\Lambda\) の任意の有限部分集合 \(\{k_1, k_2, \ldots, k_\ell\}\) に対して \(\{\mathcal{F}_{k_j}\}_{j=1,2,\ldots,\ell}\) が独立であるときにいう．

## 確率変数の独立性

今から、実数値確率変数はすべて同一の確率空間 \((\Omega, \mathcal{F}, P)\) で定義されているものとして，\(k=1,2,\ldots,n\) または \(\Lambda\) は一般の集合として \(k \in \Lambda\) とする。

定義(確率変数の独立性)
(1) \((X_k)_{k=1,2,\ldots,n}\) が独立とは，任意の \(A_1 \in \mathcal{B},\ A_2 \in \mathcal{B},\ldots,A_n \in \mathcal{B}\) に対して

\[ P(X_k \in A_k,\ k=1,2,\ldots,n)=\prod_{k=1}^n P(X_k \in A_k) \]

が成立するときにいう．

2. さらに一般に、\((X_k)_{k \in \Lambda}\) が独立とは，\(\Lambda\) の任意の有限部分集合 \(\{i_1,i_2,\ldots,i_\ell\}\) と \(A_1 \in \mathcal{B}, A_2 \in \mathcal{B},\ldots,A_\ell \in \mathcal{B}\) に対して

\[ P(X_{k_i}\in A_i,\ i=1,2,\ldots,\ell)=\prod_{i=1}^{\ell} P(X_{k_i}\in A_i) \]

が成立するときにいう．

注意 確率変数 \(X\) が生成する \(\sigma\)-加法族を \(\sigma(X)\) とすれば、確率変数列の独立性はそれらが生成する \(\sigma\)-加法族の独立性と同値であることが示せる。しかし、この証明は結構必要な道具が多いので追わなくて良い。

命題 \(X_k\) の分布が確率密度関数 \(p_{X_k}(x)\) をもつとき，\((X_k)_{k=1,2,\ldots,n}\) の独立は，

\[ P(a_1 \leq X_1 \leq b_1,\ a_2 \leq X_2 \leq b_2,\ldots,a_n \leq X_n \leq b_n) = \prod_{k=1}^n \int_{a_k}^{b_k} p_{X_k}(x)\,dx \]

が任意の \(a_1<b_1,\ a_2<b_2,\ldots,a_n<b_n\) に対して成立することと同値である．

さらに、確率変数列の独立性は，可測関数との合成によって保たれる。

補題(独立な確率変数の可測関数での写像も独立) 確率変数列 \((X_k)_{k=1,2,\ldots,n}\) は独立で，\(g_k:S_k\to S_k'\)，\(k=1,2,\ldots,n\) は可測とする．ただし，\((S_k',\mathcal{S}_k')\) は他の可測空間とする．このとき

\[ Y_k=g_k(X_k),\ k=1,2,\ldots,n \]

とおけば，\(S_k'\)-値確率変数列 \((Y_k)_{k=1,2,\ldots,n}\) は独立である．

証明 \(k=1,2,\ldots,n\) に対して

\[ \{Y_k\in A_k'\}=\{X_k\in g_k^{-1}(A_k')\},\qquad A_k'\in\mathcal{S}_k' \]

であることに注意すればよい．

例 実数値確率変数 \(X\) と \(Y\) が独立ならば，\(X^2\) と \(Y^2\) は独立である

系 \((X_k)_{k=1,2,\ldots,n}\) は独立な実数値確率変数列で，\(g=g(x_1,x_2,\ldots,x_i):\mathbb{R}^i\to\mathbb{R}\) は可測とする．ただし，\(i<n\) である．このとき

\[ Y=g(X_1,X_2,\ldots,X_i) \]

とおけば \(Y,\ X_{i+1},\ldots,X_n\) は独立な確率変数列である．

証明 \(X=(X_1,X_2,\ldots,X_i)\) は \(\mathbb{R}^i\)-値確率変数であり，\(X,\ X_{i+1},\ldots,X_n\) が独立であることが示せる。したがって，補題3.14 で \(S_1=\mathbb{R}^i,\ S_2=\cdots=S_{n-i+1}=\mathbb{R}\) ととればよい．

## （さらっと）独立な確率変数なんて存在するの？

ここまでで確率変数の独立性を定義するはできた。すなわち、一つの確率空間 \((\Omega, \mathcal F,P)\)があったときに、その上に存在する確率変数列が独立であると言うことがどういうことなのかはわかった。

しかし、我々はまだ、そのような確率変数列が存在するのかはわかっていない。もしかしたらそのような独立な確率変数列なんて定義が厳しすぎて存在できないかもしれない。

果たして一つの確率空間上に独立な確率変数列は存在できるのか？

以上のような問題意識が存在する。問題意識が数学者すぎる。

ここでは詳細には触れないが、実際に一つの確率空間上に独立な確率変数列を構成することができることが知られている。詳しくは舟木を参照すること。

そして、その独立な確率変数列の全ての要素が同じ分布を持つとき、independent and identically distributedと言う。これを略してi.i.d.とかく。

# 条件付き期待値

ここからは条件付き期待値を厳密に導入する。

以下では，実数値確率変数 \(X\) は可積分，つまり

\[ E[|X|] < \infty \]

を満たすとする。条件付き期待値は \(L^1\) の世界で定義できるが，後で見るように，計量経済学的には \(L^2\) で見るのが最も重要である。

## フォーマルな定義

まず，条件をつける対象は「事象」ではなく，「情報」を表す部分 \(\sigma\)-加法族 \(\mathcal G \subseteq \mathcal F\) である。

定義(条件付き期待値)

\((\Omega,\mathcal F,P)\) を確率空間，\(X\) を可積分な確率変数，\(\mathcal G\subseteq\mathcal F\) を部分 \(\sigma\)-加法族とする。
このとき，\(\mathcal G\) の下での \(X\) の条件付き期待値 \(E[X\mid \mathcal G]\) とは，次の2条件を満たす \(\mathcal G\)-可測な確率変数 \(Y\) のことである。

1. \(Y\) は \(\mathcal G\)-可測である。
2. 任意の \(B\in \mathcal G\) に対して \[ E[X1_B] = E[Y1_B] \] が成立する。

このような \(Y\) は \(P\)-a.s. の意味で一意に定まり，その \(a.s.\) 同値類を \(E[X\mid \mathcal G]\) と書く。

定義(条件付き確率)

\(A\in \mathcal F\) に対して

\[ P(A\mid \mathcal G) := E[1_A\mid \mathcal G] \]

と定め，これを \(\mathcal G\) の下での \(A\) の条件付き確率という。

記法

- \(E[X\mid Y]\) は \(E[X\mid \sigma(Y)]\) の略記である。
- 同様に，\(P(A\mid Y)\) は \(P(A\mid \sigma(Y))\) の略記である。

つまり，\(E[X\mid Y]\) とは本当は「確率変数 \(Y\) が生成する情報に条件をつけた期待値」である。

なぜこの定義なのか

この定義の2条件は，それぞれ次の意味をもっている。

- \(Y\) が \(\mathcal G\)-可測であること：\(Y\) は「\(\mathcal G\) が教えてくれる情報だけで決まる」こと。
- \(E[X1_B]=E[Y1_B]\) がすべての \(B\in\mathcal G\) で成り立つこと：\(\mathcal G\) のどの情報集合の上でも，\(Y\) は \(X\) と同じ平均をもつこと。

したがって，\(E[X\mid \mathcal G]\) は「\(\mathcal G\) に含まれる情報だけを使って \(X\) を表したときの，最も自然な平均」と読むことができる。

存在と一意性について

存在はラドン–ニコディムの定理から従う。ここでは証明しない。
一意性（\(a.s.\)）は簡単で，もし \(Y,Y'\) がともに上の2条件を満たすなら，\(D=\{Y>Y'\}\in\mathcal G\) に対して

\[ E[(Y-Y')1_D] = E[Y1_D]-E[Y'1_D] = E[X1_D]-E[X1_D]=0 \]

となる。しかし \((Y-Y')1_D>0\) が \(D\) 上で成り立つから，\(P(D)=0\) でなければならない。同様に \(P(Y'<Y)=0\) なので，\(Y=Y'\) a.s. である。

## \(E[X\mid Y]\) は「\(Y\) の関数」である

\(E[X\mid Y]\) と書いたとき，これは \(\sigma(Y)\)-可測な確率変数である。したがって（Doob–Dynkin の補題という事実を使うと）あるボレル可測関数 \(m\) が存在して

\[ E[X\mid Y] = m(Y) \qquad a.s. \]

と書ける。

これが，計量経済学でよく見る

\[ m(x)=E[Y\mid X=x] \]

という記法の厳密な中身である。
右辺を厳密に言い換えると，「\(\sigma(X)\)-可測な確率変数 \(E[Y\mid X]\) は \(X\) の関数として書けるので，その関数を \(m\) と書いている」ということである。

この見方は重要である。条件付き期待値は，一つの数ではなく，観測された情報の関数として変動する確率変数なのである。

## 素朴な定義との対応：有限分割の場合

最初に書いた「事象 \(B\) に条件をつける」という素朴な定義が，このフォーマルな定義の特別な場合として本当に出てくることを確認しよう。

命題(有限分割の場合の明示式)

\(\{B_1,\dots,B_n\}\) が \(\Omega\) の有限分割で，

\[ \mathcal G = \sigma(B_1,\dots,B_n) \]

とする。このとき，可積分な \(X\) に対して

\[ E[X\mid \mathcal G] = \sum_{i=1}^n c_i 1_{B_i}, \qquad c_i= \begin{cases} \dfrac{E[X1_{B_i}]}{P(B_i)} & (P(B_i)>0),\\[1em] 0 & (P(B_i)=0) \end{cases} \]

が成立する。つまり，\(E[X\mid \mathcal G]\) は各セル \(B_i\) の上で定数であり，その値は「\(B_i\) の上での平均」である。

特に \(A\in\mathcal F\) に対して

\[ P(A\mid \mathcal G) = \sum_{i=1}^n d_i 1_{B_i}, \qquad d_i= \begin{cases} \dfrac{P(A\cap B_i)}{P(B_i)} & (P(B_i)>0),\\[1em] 0 & (P(B_i)=0) \end{cases} \]

が成り立つ。すなわち，条件付き確率も各セル上で一定になり，その値はセルごとの条件付き確率になる。

証明

\[ Y := \sum_{i=1}^n c_i 1_{B_i} \]

とおく。\(Y\) は各 \(B_i\) 上で一定だから，明らかに \(\mathcal G\)-可測である。
あとは，任意の \(B\in\mathcal G\) に対して \(E[X1_B]=E[Y1_B]\) を示せばよい。

\(\mathcal G\) は有限分割 \(\{B_i\}\) が生成する \(\sigma\)-加法族だから，任意の \(B\in\mathcal G\) はある添字集合 \(I_B\subseteq\{1,\dots,n\}\) を使って

\[ B = \bigcup_{i\in I_B} B_i \]

と書ける。したがって \(B_i\cap B\) は，\(B_i\subseteq B\) なら \(B_i\)，そうでなければ空集合である。よって

\[ E[Y1_B] = \sum_{i=1}^n c_i P(B_i\cap B) = \sum_{i\in I_B} c_i P(B_i) = \sum_{i\in I_B} E[X1_{B_i}] = E\left[X\sum_{i\in I_B}1_{B_i}\right] = E[X1_B]. \]

以上より \(Y\) は条件付き期待値の定義を満たす。最後の条件付き確率の式は \(X=1_A\) とおけば従う。\(\square\)

この命題は，条件付き期待値が「部分集団ごとの平均」として理解できる場合を正確に言い表している。
情報 \(\mathcal G\) が「どのセル \(B_i\) に入ったか」だけを教えてくれるなら，最良の予測は「そのセルの中での平均」を返すことになる。

### 特に，一つの事象 \(B\) に条件をつける場合

\(0<P(B)<1\) として，

\[ \mathcal G = \sigma(B) = \{\emptyset, B, B^c, \Omega\} \]

とすると，上の命題から

\[ E[X\mid \sigma(B)] = E[X\mid B]1_B + E[X\mid B^c]1_{B^c} \]

が従う。さらに，\(A\in\mathcal F\) に対して

\[ P(A\mid \sigma(B)) = P(A\mid B)1_B + P(A\mid B^c)1_{B^c} \]

となる。

つまり，初等確率で習う

\[ P(A\mid B)=\frac{P(A\cap B)}{P(B)} \]

や

\[ E[X\mid B] = \sum_x x P(X=x\mid B) \]

は，条件付き期待値の一般論の中では，「\(\sigma(B)\) というとても粗い情報に条件をつけたときのセル平均」として位置づけられる。

## まず見ておくべき極端な例

例 1：\(\mathcal G=\mathcal F\) のとき

このとき \(X\) 自身が \(\mathcal F\)-可測であり，任意の \(B\in\mathcal F\) について

\[ E[X1_B]=E[X1_B] \]

は自明に成り立つ。したがって

\[ E[X\mid \mathcal F]=X \qquad a.s. \]

である。全部の情報が見えているなら，予測すべき対象そのものがわかっている，というだけの話である。

例 2：\(\mathcal G=\{\emptyset,\Omega\}\) のとき

このとき \(\mathcal G\)-可測な確率変数は定数しかない。定数 \(E[X]\) は明らかに \(\mathcal G\)-可測であり，

- \(B=\emptyset\) では \(E[X1_B]=0=E[E[X]1_B]\)
- \(B=\Omega\) では \(E[X1_B]=E[X]=E[E[X]1_B]\)

だから

\[ E[X\mid \{\emptyset,\Omega\}] = E[X] \qquad a.s. \]

となる。何の情報もなければ，全体平均を返すしかない。

この2つの例は極端だが，本質をよく表している。

- 情報が最大なら，条件付き期待値は \(X\) そのもの
- 情報が最小なら，条件付き期待値は定数 \(E[X]\)

条件付き期待値は，この2つの間で「持っている情報の量」に応じて変わる予測子だと理解するとよい。

## 条件付き期待値の基本性質

以下では，\(X,Y\) は可積分な確率変数，\(\mathcal H\subseteq \mathcal G\subseteq \mathcal F\) は部分 \(\sigma\)-加法族とする。

命題(条件付き期待値の基本性質)

1. （加法性・線形性）任意の \(a,b\in\mathbb R\) に対して \[ E[aX+bY\mid \mathcal G] = aE[X\mid \mathcal G]+bE[Y\mid \mathcal G] \qquad a.s. \]
2. （単調性）\(X\ge 0\) a.s. なら \[ E[X\mid \mathcal G]\ge 0 \qquad a.s. \]
3. （わかっているものは外に出せる）\(Z\) が \(\mathcal G\)-可測で，\(ZX\) が可積分なら \[ E[ZX\mid \mathcal G] = Z E[X\mid \mathcal G] \qquad a.s. \] 特に，\(X\) 自身が \(\mathcal G\)-可測なら \[ E[X\mid \mathcal G] = X \qquad a.s. \]
4. （反復期待値・tower property） \[ E[E[X\mid \mathcal G]\mid \mathcal H] = E[X\mid \mathcal H] \qquad a.s. \] 特に，\(\mathcal H=\{\emptyset,\Omega\}\) とすると \[ E[E[X\mid \mathcal G]] = E[X]. \]
5. （独立なら平均に潰れる）\(\sigma(X)\) と \(\mathcal G\) が独立なら \[ E[X\mid \mathcal G]=E[X] \qquad a.s. \] したがって，\(f(X)\) が可積分なら \[ E[f(X)\mid \mathcal G]=E[f(X)] \qquad a.s. \]

証明

(1) 右辺を

\[ U := aE[X\mid \mathcal G]+bE[Y\mid \mathcal G] \]

とおく。\(U\) は \(\mathcal G\)-可測である。さらに任意の \(B\in\mathcal G\) に対して

\[ E[U1_B] = aE[E[X\mid \mathcal G]1_B]+bE[E[Y\mid \mathcal G]1_B] = aE[X1_B]+bE[Y1_B] = E[(aX+bY)1_B]. \]

よって \(U\) は \(E[aX+bY\mid \mathcal G]\) の定義を満たす。

(2) \(U:=E[X\mid \mathcal G]\) とし，\(B=\{U<0\}\in\mathcal G\) を考える。定義より

\[ E[U1_B]=E[X1_B]\ge 0 \]

である。一方で \(U1_B\le 0\) だから，両方を満たすには \(U1_B=0\) a.s. でなければならない。したがって \(P(B)=0\)，すなわち \(U\ge 0\) a.s. である。

(3) まず \(Z=1_A\)（\(A\in\mathcal G\)）の場合を示す。このとき \(1_AE[X\mid \mathcal G]\) は \(\mathcal G\)-可測であり，任意の \(B\in\mathcal G\) に対して

\[ E[(1_AX)1_B] = E[X1_{A\cap B}] = E[E[X\mid \mathcal G]1_{A\cap B}] = E[(1_AE[X\mid \mathcal G])1_B]. \]

したがって

\[ E[1_A X\mid \mathcal G]=1_AE[X\mid \mathcal G]. \]

次に \(Z\) が非負の \(\mathcal G\)-可測単純関数

\[ Z=\sum_{j=1}^m z_j1_{A_j} \]

なら，線形性より同じ式が成り立つ。一般の \(\mathcal G\)-可測 \(Z\) については，単純関数近似と正負部分への分解を使えば

\[ E[ZX\mid \mathcal G]=ZE[X\mid \mathcal G] \]

を得る。
特に \(X\) が \(\mathcal G\)-可測なら，定数関数 \(1\) は \(\mathcal G\)-可測なので

\[ E[X\mid \mathcal G] = E[X\cdot 1\mid \mathcal G] = X E[1\mid \mathcal G] = X \]

である（もちろん \(E[1\mid \mathcal G]=1\)）。

(4) 左辺を

\[ U := E[E[X\mid \mathcal G]\mid \mathcal H] \]

とおく。\(U\) は \(\mathcal H\)-可測である。任意の \(B\in\mathcal H\) に対して，\(\mathcal H\subseteq \mathcal G\) より \(B\in\mathcal G\) でもあるから

\[ E[U1_B] = E[E[X\mid \mathcal G]1_B] = E[X1_B]. \]

よって \(U\) は \(E[X\mid \mathcal H]\) の定義を満たす。特に \(\mathcal H=\{\emptyset,\Omega\}\) とすれば \(E[E[X\mid \mathcal G]]=E[X]\) が従う。

(5) 定数 \(E[X]\) は \(\mathcal G\)-可測である。任意の \(B\in\mathcal G\) に対して，\(\sigma(X)\) と \(\mathcal G\) の独立性から

\[ E[X1_B]=E[X]P(B)=E[E[X]1_B]. \]

したがって \(E[X\mid \mathcal G]=E[X]\) a.s. である。\(f(X)\) に対する主張も同様である。\(\square\)

上の(3)と(4)を合わせると，計量経済学で最も頻繁に使う事実がすぐ出る。

系(条件付き期待値から引いた残差は，条件づけた情報と直交する)

\[ U := X-E[X\mid \mathcal G] \]

とおく。\(Z\) が \(\mathcal G\)-可測で \(UZ\) が可積分なら

\[ E[UZ]=0. \]

特に \(A\in\mathcal G\) に対して

\[ E[U1_A]=0 \]

である。すなわち，条件付き期待値から引いた残差は，\(\mathcal G\) によって観測できるどんな対象とも平均的に無相関になる。

証明

\(Z\) は \(\mathcal G\)-可測だから，(3)と(4)より

\[ E[UZ] = E\bigl(E[UZ\mid \mathcal G]\bigr) = E\bigl(ZE[U\mid \mathcal G]\bigr) = 0. \]

最後の等号は

\[ E[U\mid \mathcal G] = E[X\mid \mathcal G]-E[E[X\mid \mathcal G]\mid \mathcal G] = 0 \]

から従う。\(\square\)

この「残差は観測可能な情報と直交する」という性質が，そのまま \(L^2\) の射影の話になる。

## \(L^2\) 空間と直交射影

ここからが計量経済学的には最も重要である。

二乗誤差を考えたいので，今度は \(X\in L^2\)，つまり

\[ E[X^2] < \infty \]

を仮定する。
\(L^2(\mathcal F)\) とは，二乗可積分な確率変数全体（\(a.s.\) に等しいものは同一視する）の集合である。

この集合には内積

\[ \langle X,Y\rangle := E[XY] \]

とノルム

\[ \|X\|_2 := \sqrt{E[X^2]} \]

が入る。したがって \(L^2(\mathcal F)\) は，ふつうのユークリッド空間 \(\mathbb R^n\) を無限次元化したような空間だと思ってよい。

いま，情報 \(\mathcal G\) によって観測できる二乗可積分な確率変数全体を

\[ L^2(\mathcal G) := \{Z\in L^2(\mathcal F): Z \text{ は } \mathcal G\text{-可測}\} \]

と書く。これは \(L^2(\mathcal F)\) の線形部分空間であり，しかも閉じている。
したがって，幾何学的には「ある点 \(X\) を，\(L^2(\mathcal G)\) という平面（より正確には閉部分空間）に垂直に落とした足」を考えることができる。

結論を先に言うと，その足こそが条件付き期待値である。

定理(条件付き期待値は \(L^2(\mathcal G)\) への直交射影)

\(X\in L^2(\mathcal F)\) とし，

\[ Y := E[X\mid \mathcal G] \]

とおく。このとき次が成り立つ。

1. \(Y\in L^2(\mathcal G)\).
2. 任意の \(Z\in L^2(\mathcal G)\) に対して \[ E[(X-Y)Z]=0. \] すなわち，残差 \(X-Y\) は \(L^2(\mathcal G)\) のすべての元と直交する。
3. 任意の \(Z\in L^2(\mathcal G)\) に対して \[ \|X-Z\|_2^2 = \|X-Y\|_2^2 + \|Y-Z\|_2^2. \]

したがって

\[ E[X\mid \mathcal G] = \operatorname*{argmin}_{Z\in L^2(\mathcal G)} E[(X-Z)^2]. \]

つまり，条件付き期待値は「\(\mathcal G\) の情報だけを使って作れる確率変数の中で，\(X\) に最も近いもの」である。

証明

(1) まず \(Y\) は定義から \(\mathcal G\)-可測である。
二乗可積分性を示すため，

\[ Y_n := Y1_{\{|Y|\le n\}} \]

とおく。\(Y_n\) は有界かつ \(\mathcal G\)-可測だから，基本性質(3)(4)より

\[ E[XY_n] = E\bigl(E[XY_n\mid \mathcal G]\bigr) = E\bigl(Y_nE[X\mid \mathcal G]\bigr) = E[YY_n]. \]

したがって Cauchy–Schwarz により

\[ E[Y_n^2] = E[YY_n] = E[XY_n] \le \|X\|_2\|Y_n\|_2. \]

よって \(\|Y_n\|_2\le \|X\|_2\) である。\(n\to\infty\) とすると \(Y_n^2\uparrow Y^2\) だから，単調収束定理より

\[ E[Y^2] = \lim_{n\to\infty}E[Y_n^2] \le \|X\|_2^2 < \infty. \]

ゆえに \(Y\in L^2(\mathcal G)\) である。

(2) \(Z\in L^2(\mathcal G)\) とする。\(X-Y\in L^2\) なので，Cauchy–Schwarz により \((X-Y)Z\) は可積分である。しかも \(Z\) は \(\mathcal G\)-可測だから，基本性質(3)(4)を使って

\[ E[(X-Y)Z] = E\bigl(E[(X-Y)Z\mid \mathcal G]\bigr) = E\bigl(ZE[X-Y\mid \mathcal G]\bigr) = 0. \]

すなわち，残差 \(X-Y\) は \(L^2(\mathcal G)\) の任意の元に直交する。

(3) \(Y-Z\in L^2(\mathcal G)\) なので，(2)から

\[ E[(X-Y)(Y-Z)]=0. \]

したがって

\[ \begin{aligned} \|X-Z\|_2^2 &= E\bigl[((X-Y)+(Y-Z))^2\bigr] \\ &= E[(X-Y)^2] + 2E[(X-Y)(Y-Z)] + E[(Y-Z)^2] \\ &= \|X-Y\|_2^2 + \|Y-Z\|_2^2. \end{aligned} \]

これがピタゴラス分解である。右辺第2項は常に非負だから，\(\|X-Z\|_2^2\) は \(Z=Y\) のとき最小になる。しかも最小化子は \(a.s.\) の意味で一意である。\(\square\)

### 幾何学的な読み方

この定理は，ふつうの線形代数の「直交射影」とまったく同じ構造をもっている。

- 空間全体：\(L^2(\mathcal F)\)
- 射影先の部分空間：\(L^2(\mathcal G)\)
- ベクトル：確率変数
- 内積：\(E[XY]\)
- 射影された点：\(E[X\mid \mathcal G]\)
- 垂線成分：\(X-E[X\mid \mathcal G]\)

つまり，条件付き期待値は「情報 \(\mathcal G\) を使って説明できる部分」を取り出し，残りを「その情報では説明できない部分」として落としている。

この意味で，

\[ X = E[X\mid \mathcal G] + \{X-E[X\mid \mathcal G]\} \]

は，

- 予測可能部分 \(E[X\mid \mathcal G]\)
- 予測不可能部分 \(X-E[X\mid \mathcal G]\)

への直交分解になっている。

## 最良予測子としての条件付き期待値

この射影定理を予測の言葉に言い換えると，条件付き期待値は二乗誤差の意味で最良の予測子である。

定理(二乗誤差の意味での最良予測子)

\(Y\in L^2\)，\(W\) を任意の確率変数とする。このとき

\[ m(W):=E[Y\mid W] \]

は，\(W\) の可測関数 \(g(W)\) の中で

\[ E[(Y-g(W))^2] \]

を最小化する。

より正確には，任意の二乗可積分な可測関数 \(g\) に対して

\[ E[(Y-g(W))^2] = E[(Y-m(W))^2] + E[(m(W)-g(W))^2] \]

が成り立つ。

証明

\(\mathcal G=\sigma(W)\) とおけば，\(g(W)\) は \(L^2(\mathcal G)\) の元である。したがって直交射影のピタゴラス分解をそのまま使えばよい。\(\square\)

この定理は，計量経済学では極めて重要である。なぜなら，母集団レベルでは

\[ Y = E[Y\mid W] + u, \qquad E[u\mid W]=0 \]

という分解がいつでもできるからである。ここで

\[ u := Y-E[Y\mid W] \]

は「\(W\) を知っていても予測できない成分」であり，任意の二乗可積分な \(g(W)\) に対して

\[ E[u\,g(W)] = 0 \]

を満たす。
これは，単に \(u\) と \(W\) が無相関というよりずっと強い。\(u\) は \(W\) のあらゆる可測関数と直交するのである。

## 線形回帰とのつながり

ここまでの話は「予測子として許されるもの」を \(W\) のすべての可測関数に広げていた。
一方，線形回帰ではその候補を

\[ \mathcal L(W)=\{a+b'W : a\in\mathbb R,\ b\in\mathbb R^k\} \]

のような有限次元の線形空間に制限している。

したがって，母集団OLSは

\[ \operatorname*{argmin}_{a,b} E[(Y-a-b'W)^2] \]

という問題を解いていて，これは \(Y\) を \(\mathcal L(W)\) に直交射影していることにほかならない。

ここで重要なのは，

- \(E[Y\mid W]\) は すべての可測関数を許したときの最良予測子
- 線形回帰 \(a+b'W\) は 線形関数だけを許したときの最良予測子

だという違いである。

もし本当に

\[ E[Y\mid W] = a_0 + b_0'W \]

が成り立つなら，条件付き期待値と線形射影は一致する。これが線形回帰モデルがうまく働く理想的な状況である。
しかし一般には \(E[Y\mid W]\) は非線形かもしれない。そのとき OLS が返すのは真の条件付き期待値ではなく，あくまで最良線形予測子である。

この区別は計量経済学で非常に重要である。

- 非線形な条件付き平均を線形モデルで近似しているだけなのか
- それとも本当に条件付き平均が線形なのか

で，推定量の意味も解釈も変わるからである。

## Rによるシミュレーション：射影の感覚をつかむ

以下では，条件付き期待値を「情報に応じた平均」かつ「射影」として感じるために，簡単なシミュレーションを2つやってみる。

### シミュレーション1：粗い情報 \(\mathcal G\) への射影は区間ごとの平均

まず

\[ Y = X^2 + \varepsilon, \qquad X\sim \mathrm{Unif}[-2,2], \qquad \varepsilon\sim N(0,0.4^2) \]

を考える。すると真の条件付き期待値は

\[ E[Y\mid X]=X^2 \]

である。
一方で，いま持っている情報が「\(X\) がどの区間に入ったか」だけだったとする。たとえば

\[ [-2,-1],\ (-1,0],\ (0,1],\ (1,2] \]

の4区間のどこに入ったかしかわからないとき，\(\mathcal G\) はその分割が生成する \(\sigma\)-加法族である。
このとき \(E[Y\mid \mathcal G]\) は，各区間ごとの平均を返す段差関数になるはずである。

    set.seed(123)

    n <- 800
    x <- runif(n, min = -2, max = 2)
    eps <- rnorm(n, mean = 0, sd = 0.4)
    y <- x^2 + eps

    breaks <- c(-2, -1, 0, 1, 2)
    bin <- cut(x, breaks = breaks, include.lowest = TRUE)

    bin_mean <- tapply(y, bin, mean)
    y_hat_G <- bin_mean[bin]

    plot(x, y,
         pch = 16, cex = 0.7, col = rgb(0, 0, 0, 0.25),
         xlab = "X", ylab = "Y",
         main = "粗い情報 G への射影")
    curve(x^2, from = -2, to = 2, add = TRUE, lwd = 2, col = "blue")
    abline(v = c(-1, 0, 1), lty = 2, col = "gray70")
    for (j in 1:(length(breaks) - 1)) {
      segments(breaks[j], bin_mean[j], breaks[j + 1], bin_mean[j],
               col = "red", lwd = 3)
    }
    legend("topleft",
           legend = c("観測点", "真の条件付き平均 X^2", "区間情報での予測"),
           col = c(rgb(0, 0, 0, 0.5), "blue", "red"),
           pch = c(16, NA, NA), lty = c(NA, 1, 1), lwd = c(NA, 2, 3),
           bty = "n")

青い曲線が真の条件付き期待値 \(E[Y\mid X]=X^2\)，赤い段差関数が「区間だけ知っている」ときの条件付き期待値 \(E[Y\mid \mathcal G]\) の標本版である。
情報が粗くなると，射影先の空間 \(L^2(\mathcal G)\) も小さくなるので，予測子はより粗い形になる。

次の出力は，「情報が増えるほど二乗誤差が下がる」ことを直感的に見せるものである。

    mse_global <- mean((y - mean(y))^2)
    mse_G <- mean((y - y_hat_G)^2)
    mse_true <- mean((y - x^2)^2)

    round(c(
      "全体平均だけを使う" = mse_global,
      "区間情報 G を使う" = mse_G,
      "真の条件付き期待値 E[Y|X] を使う" = mse_true
    ), 4)

                  全体平均だけを使う                区間情報 G を使う
                              1.6118                           0.5898
    真の条件付き期待値 E[Y|X] を使う
                              0.1631

    round(tapply(y - y_hat_G, bin, mean), 10)

    [-2,-1]  (-1,0]   (0,1]   (1,2]
          0       0       0       0

最後の行で，各区間ごとの残差平均がほぼ \(0\) になっていることも確認できる。これは母集団での関係

\[ E[Y-E[Y\mid \mathcal G]\mid \mathcal G]=0 \]

の標本版であり，「射影誤差は射影先の情報と直交する」という性質の離散版である。

### シミュレーション2：条件付き期待値と線形射影は一般には違う

同じデータに対して，今度は最小二乗の直線を引いてみる。
すると，真の条件付き期待値 \(X^2\) は非線形なので，OLS の直線とは一致しないはずである。

    fit_lin <- lm(y ~ x)

    plot(x, y,
         pch = 16, cex = 0.7, col = rgb(0, 0, 0, 0.25),
         xlab = "X", ylab = "Y",
         main = "条件付き期待値と線形射影の違い")
    curve(x^2, from = -2, to = 2, add = TRUE, lwd = 2, col = "blue")
    abline(fit_lin, col = "red", lwd = 2)
    legend("topleft",
           legend = c("観測点", "真の条件付き平均 X^2", "OLS の直線"),
           col = c(rgb(0, 0, 0, 0.5), "blue", "red"),
           pch = c(16, NA, NA), lty = c(NA, 1, 1), lwd = c(NA, 2, 2),
           bty = "n")

    coef(fit_lin)

    (Intercept)           x
     1.32924149  0.04076354

    round(c(
      "標本平均の残差" = mean(resid(fit_lin)),
      "X と残差の標本共分散の核" = mean(x * resid(fit_lin))
    ), 10)

              標本平均の残差 X と残差の標本共分散の核
                           0                        0

赤い直線は「\(1\) と \(X\) の線形結合」という小さな部分空間への射影であり，青い曲線 \(E[Y\mid X]=X^2\) とは一般には違う。
それでも OLS 残差が定数項と \(X\) に直交していることは，最後の数値から確認できる。これは線形代数でいう正規方程式の確率論版である。

この図から読み取るべきメッセージは次の通りである。

- 条件付き期待値は「\(X\) のすべての可測関数」を許したときの最良予測子
- OLS は「線形関数だけ」を許したときの最良予測子
- 両者が一致するのは，条件付き平均が本当に線形なときだけ

## まとめ

条件付き期待値 \(E[X\mid \mathcal G]\) は，初等確率で習う「ある事象に条件をつけた平均」を大きく一般化した概念である。

- 条件をつける対象は，単なる事象ではなく情報を表す \(\sigma\)-加法族 \(\mathcal G\)
- 条件付き期待値は，一つの数ではなく \(\mathcal G\)-可測な確率変数
- 有限分割の場合には，各セルごとの平均として素朴な定義と一致
- 基本性質として線形性，単調性，tower property，独立性との関係などをもつ
- \(L^2\) では，\(E[X\mid \mathcal G]\) は \(L^2(\mathcal G)\) への直交射影であり，二乗誤差の意味での最良予測子

計量経済学で回帰分析が重要なのは，まさにこの最後の点のためである。
回帰とは，本質的には「利用可能な情報に基づいて，二乗誤差の意味で最良の予測を作ること」なのである。
線形回帰はその中でも，予測子のクラスを線形関数に制限した特別な場合にすぎない。