【非ガウス分布の基礎２】モーメント母関数：「もうひとつの像の世界」とその限界

　確率変数、あるいは、その確率密度関数の性質を理解するうえで重要な統計量のひとつが、モーメント（moment）です。モーメントとは、確率変数の平均、分散、歪度、尖度といった「分布の形」を記述するための指標であり、分布の情報を、分布の中心から裾へと視点を変えながら要約してくれる量です。
　しかし、モーメントを一つ一つ計算していくだけでは、それが形作る構造の全体像が見えにくくなります。そこで有効なのが、モーメントをひとつの式にまとめて扱える数学的道具、モーメント母関数（moment generating function; MGF） です。モーメント母関数は、特性関数の双子のようなものですが、モーメント母関数には限界があり、特性関数はその限界を打ち破る存在になっています。今回は、このことをみなさんに伝えたいと思います。
　以下では、raw モーメント（原モーメント）と中心モーメントの定義を整理し、それらを束ねるモーメント母関数の利点、そして特性関数との関係を解説します。

1. Raw モーメントと中心モーメント
2. モーメントをまとめる関数：モーメント母関数
- ■ モーメント母関数の定義
- ■ n 次モーメントとの対応
3. 特性関数との関係：複素数方向への自然な拡張
4. モーメント母関数は「ラプラス変換」そのもの
- ■ モーメント母関数には限界がある
5. まとめ

1. Raw モーメントと中心モーメント

　まず、raw モーメント（原モーメント） と 中心モーメント を定義します。
ここでは、確率変数 $\displaystyle{X}$ の確率密度関数を $\displaystyle{f(x)}$ とします。 $\displaystyle{ \mathbb{E} }$ は期待値をとることを表します。

■ Raw モーメント（原モーメント）

　n 次モーメントの定義は

$\displaystyle{ \mu'_n = \mathbb{E}[X^n] = \int_{-\infty}^{\infty} x^n\, f(x)\, dx }$

です。
　ここでは、堅苦しい定義をしていますが、

平均は、１次raw モーメント $\displaystyle{\mu'_1 = \mathbb{E}[X ]}$ 、
2 乗平均は、２次raw モーメント $\displaystyle{\mu'_2 = \mathbb{E}[X^ 2]}$ 、

です。

■ 中心モーメント（central moment）

　平均 $\displaystyle{\mu = \mathbb{E}[X]}$ の周りで測ったモーメントが中心モーメントで、

$\displaystyle{ \mu_n = \mathbb{E}\!\left[(X-\mu)^n\right]. }$

　おなじみの統計量「分散」は、２次中心モーメント

$\displaystyle{\mu_2 = \mathbb{E}\!\left[(X-\mu)^2\right]}$

です。

■ Raw モーメントと中心モーメントの関係

　中心モーメントは、raw モーメントを使って表現することができます。
　たとえば、2 次の場合は

$\displaystyle{ \mu_2 = \mu'_2 - (\mu'_1)^2 }$

というよく知られた関係があり、一般の n については二項展開により

$\displaystyle{ \mu_n = \sum_{k=0}^{n} {}_n C_k \, (-\mu)^{\,n-k}\, \mu'_k }$

で raw モーメントと中心モーメントは完全に結びつきます。

2. モーメントをまとめる関数：モーメント母関数

　モーメントを一つずつ計算するのは大変ですが、実はそれらをすべて「一つの関数」で管理する方法があります。それがモーメント母関数です。
　モーメント母関数という言葉の「母（mother）」は、英語の “moment generating function” の generating を日本語でどう表すかを工夫した結果として定着した用語です。直訳すれば「モーメント生成関数」なのですが、日本語では「母」という字をあてることで、「さまざまな量を生み出す源になる関数」という意味を表現しています。

■ モーメント母関数の定義

　モーメント母関数の定義は、

$\displaystyle{ M(t) = \mathbb{E}\!\left[e^{tX}\right] = \int_{-\infty}^{\infty} e^{t x}\, f(x)\, dx. }$

です。
　何も考えずに定義式を見れば、難しく感じるかもしれません。しかし、指数関数を展開してみれば、そこにはすべてのべき関数が含まれるという素敵な性質を持っていることを思い出してください。
　指数関数のマクローリン展開は、

$\displaystyle{ e^{t} = 1 + t + \frac{t^2}{2!} + \cdots = \sum_{n=0}^{\infty} \frac{t^{n}}{n!} }$

ですので、 $e^ {tX}$ の展開は、

$\displaystyle{ e^{tX} = \sum_{n=0}^{\infty} \frac{(tX)^{n}}{n!} = \sum_{n=0}^{\infty} \frac{t^{n}}{n!}\, X^{n} }$

です。したがって、モーメント母関数は、

$\displaystyle{ \begin{aligned} M(t) &= \mathbb{E}\!\left[e^{tX}\right] \\ &= \int_{-\infty}^{\infty} e^{t x}\, f(x)\, dx \\ &= \int_{-\infty}^{\infty} \left( \sum_{n=0}^{\infty} \frac{t^{n}}{n!}\, x^{n} \right) f(x)\, dx \\ &= \sum_{n=0}^{\infty} \frac{t^{n}}{n!} \int_{-\infty}^{\infty} x^{n} f(x)\, dx \\ &= \sum_{n=0}^{\infty} \frac{t^{n}}{n!}\, \mathbb{E}\!\left[X^{n}\right]. \end{aligned} }$

のように、すべてのモーメントの情報を含んでいます。

■ n 次モーメントとの対応

　ということで、モーメント母関数が含んでいるモーメントの情報を取り出せば、個々のモーメントを求められます。
　上で確認したように、

$\displaystyle{ \begin{aligned} M(t) &= \mathbb{E}\!\left[e^{tX}\right] \\ &= \sum_{n=0}^{\infty} \frac{t^{n}}{n!}\, \mathbb{E}\!\left[X^{n}\right]. \end{aligned} }$

でしたので、

$\displaystyle{ \left.\frac{d^{n}}{dt^{n}} M(t)\right|_{t=0} = \mathbb{E}[X^{n}] }$

とすれば、raw モーメントを求められます。つまり、モーメント母関数をn 階微分して、 $t = 0$ を代入すれば、n 次の raw モーメントを求められます。
　また、中心モーメントは $\displaystyle{\mathbb{E}[(X-\mu)^ n]}$ ですが、これは

$\displaystyle{ M_{X-\mu}(t) = e^{-\mu t}\, M_X(t) }$

を微分すれば求まります。理由は、各自考えてみてください。ヒントは、平行移動に対するラプラス変換の性質です。

3. 特性関数との関係：複素数方向への自然な拡張

　前の記事で述べたように、確率論でも「別の世界に写す」操作として特性関数が用いられます。
　特性関数は

$\displaystyle{ \phi(\omega) = \mathbb{E}\!\left[e^{\,i\omega X}\right] }$

で定義されます。
　したがって、指数関数の引数を $\displaystyle{t = i\omega}$ と置き換えるだけで，

$\displaystyle{ \phi(\omega) = M(i\omega) }$

となります。
　ここで、
わざわざ、虚数を導入する必要あるの？
と私は疑問を持ちました。モーメント母関数のままでも、特性関数を使った議論と同じ議論ができるはずでしょ、と。

4. モーメント母関数は「ラプラス変換」そのもの

　モーメント母関数は、形式的には、確率密度関数のラプラス変換にそっくりです。
　工学でおなじみのラプラス変換の定義は、

$\displaystyle{ \mathcal{L}\{f(x)\}(t) = \int_0^{\infty} e^{-t x} f(x)\, dx }$

ですが、両側ラプラス変換（bilateral Laplace transform）というのもあって、これは、

$\displaystyle{ \mathcal{L}_{\mathrm{bil}}\{f(x)\}(t) = \int_{-\infty}^{\infty} e^{-t x}\, f(x)\, dx. }$

で定義されます。片側ラプラス変換と両側ラプラス変換で、違い (両側ラプラスでは収束領域を満たす必要があること) はありますが、皆さんが覚えているラプラス変換の基本的な変換則は、片側も、両側も同じです。
　ということで、両側ラプラス変換と見比べれば、符号の違いこそあれ、

$\displaystyle{ M(t) = \int_{-\infty}^{\infty} e^{t x}\, f(x)\, dx }$

は、まさにラプラス変換の仲間です (符号の違いに注意してください)。　したがって、

畳み込みは積に
平行移動は指数因子に

という、ラプラス変換の特性が、そのままモーメント母関数に引き継がれています。
　したがって、独立な確率変数の和について

$\displaystyle{ M_{X+Y}(t) = M_X(t)\, M_Y(t) }$

が、特性関数と同じように成り立ちます。
　このことが、わざわざ、特性関数を使うことないんじゃないの？ という疑問がわく理由です。何で「フーリエ変換版」の特性関数のみが、世の中で幅を利かせているでしょうか。

■ モーメント母関数には限界がある

　確率変数 $\displaystyle{ X }$ のモーメント母関数は

$\displaystyle{ M_X(t)=\mathbb{E}[e^{tX}] }$

で定義されます。
　指数関数のテイラー展開

$\displaystyle{ e^{tX} = 1 + tX + \frac{t^2 X^2}{2!} + \frac{t^3 X^3}{3!} + \cdots }$

をとると，モーメント母関数は次のように、すべてのモーメントを集めた式になります：

$\displaystyle{ M_X(t) = 1 + t,\mathbb{E}[X] + \frac{t^2}{2!}\mathbb{E}[X^2]+ \frac{t^3}{3!}\mathbb{E}[X^3] + \cdots }$

したがって，どこかの次数でモーメントが発散すると $\displaystyle{ M _ X(t) }$ は存在しません。
　たとえば Cauchy 分布など重い裾を持つ分布では，

$\displaystyle{ \mathbb{E}[X^2] = \infty,\qquad \mathbb{E}[X^k] = \infty\ (k\ge 2) }$

となり，モーメント母関数は級数として表現することができず、存在しないことになります。
　確率密度関数の中には、高次のモーメントや分散（２次のモーメント）が発散するものがあります。そんなの、現実的じゃないと感じるかもしれませんが、仲間外れにしないでください。きっと役に立つことがあります。モーメントが発散する場合、当然、モーメント母関数は存在しません。このように、モーメント母関数は、すべての確率密度関数に適用することができないのです。
　それに対し、特性関数は常に存在し、すべての確率密度関数に適用することができるのです。
　特性関数は、

$\displaystyle{ \phi_X(\omega)=\mathbb{E}[e^{i\omega X}] }$

で定義されます。
　オイラーの公式

$\displaystyle{ e^{i\theta} = \cos\theta + i\sin\theta }$

を用いると，

$\displaystyle{ \phi_X(\omega) = \mathbb{E}[\cos(\omega X)] ;+; i,\mathbb{E}[\sin(\omega X)] }$

となり，右辺は「フーリエ・コサイン変換＋フーリエ・サイン変換」の形になります。
　確率密度関数は、当然、

$\displaystyle{ \int_{-\infty}^{\infty} f(x),dx = 1 }$

を満たします。
　また、

$\displaystyle{ |e^{i\omega x}| = 1 }$

ですので、

$\displaystyle{ |\phi_X(\omega)| = \left| \int_{-\infty}^{\infty} e^{i\omega x} f(x), dx \right| \le \int_{-\infty}^{\infty} |e^{i\omega x}|, f(x),dx = \int_{-\infty}^{\infty} f(x),dx = 1 }$

のように、上限が１であることがわかります。したがって、 特性関数は常に有界で，必ず存在するのです。

5. まとめ

　今回は、私が感じた素朴な疑問「なぜ、わざわざ特性関数を使うの？」に自分で答えてみました。

　道から極端に外れない性格の良い確率分布では、モーメント母関数も特性関数も同じように使えます。でも、裾の厚い（heavy-tailed）分布では、モーメント母関数では歯が立たないことがあるのです。

　私の記事ではもうしばらく導入的な話が続きますが、基礎の準備ができしだい、非ガウス分布の世界の話へ進んでいきたいと思います。

※ もし記事の中で「ここ違うよ」という点や気になるところがあれば、気軽に指摘していただけると助かります。質問や「このテーマも取り上げてほしい」といったリクエストも大歓迎です。必ず対応するとは約束できませんが、できるだけ今後の記事で扱いたいと思います。それと、下のはてなブログランキングはあまり信用できる指標ではなさそうですが (私のブログを読んでいる人は、実際とても少ないです)、押してもらえるとシンプルに励みになります。気が向いたときにポチッとしていただけたら嬉しいです。