【非ガウス分布の基礎１】特性関数で確率変数の和を考える—— 確率分布をフーリエ変換すると見える世界

フーリエ変換（Fourier transform）というと、偏微分方程式を解くときや、音声・画像・脳波などの信号解析で使われる数学的道具だというイメージが強いかもしれません。たしかにフーリエ変換は、関数や信号を「周波数成分」に分解し、複雑な問題を整理して計算を容易にする強力な方法です。
　しかしフーリエ変換の考え方は、これらの分野にとどまらず、確率変数の性質を調べるときにも非常に大きな威力を発揮します。意外に思えるかもしれませんが、確率変数のふるまいを調べるときにも、フーリエ変換のように「変換して別の世界で考える」発想が非常に役に立ちます。微分方程式の解析でフーリエ変換やラプラス変換が有効なのは、元の複雑な問題を、変換後の「像の世界」ではより構造のはっきりした形に置き換えられるからです。
　この考え方は確率論でも同じです。確率密度関数をフーリエ変換すると、分布の情報が別のパラメータ空間へ写像され、そこで扱いやすい数式的性質をもつ表現に変わります。その写像として得られるものが特性関数（characteristic function）です。特性関数の空間では、確率変数の和やモーメントに対応する操作がきわめて単純になり、確率分布の解析が大幅に容易になります。
　実際、特性関数の正体は確率密度関数のフーリエ変換そのものです。そして、フーリエ変換が本来もつ

畳み込みが積に変わる
平行移動や微分が単純な式に置き換わる

といった数学的な利点が、特性関数を通じてそのまま確率論にも反映されます。
　特に、複数の確率変数を足し合わせる問題（和の分布）は、一般には面倒な積分を必要としますが、特性関数を用いれば単に「掛け算」するだけでよく、他のどの方法よりも見通しよく計算できます。そのため特性関数は、確率論や統計学において欠かせない基盤的な道具として広く利用されています。
　フーリエ変換は、関数を別の表現（像）へ移す数学的操作です。一般には「波（正弦波）に分解する変換」と説明されることが多いですが、これはフーリエ変換が物理学や信号解析でよく使われるために生まれた理解の仕方です。しかし、フーリエ変換の本質は「波」そのものではありません。むしろ、元の関数を別のパラメータ空間に写し取り、そこで代数的に扱いやすい形に変えるための変換だという点に本当の価値があります。
　この意味では、フーリエ変換はラプラス変換と同じ構造をもちます。ラプラス変換が指数関数を基底として関数を別の領域に移し、微分方程式を代数方程式に変換するように、フーリエ変換もまた「別の像の世界」を提供しているのです。その結果、元の関数が複雑で扱いづらい場合でも、変換後の世界では微分や畳み込みといった操作が単純な掛け算へ変わり、解析が非常に容易になります。
　この考え方は、信号解析や偏微分方程式だけでなく、確率論でも同じように働きます。ただし、確率論で使う「特性関数」の定義は、一般に工学や物理で用いられるフーリエ変換と比べると、指数関数の符号が逆になっているように見えるため、少し混乱の元になります。

1. 一般のフーリエ変換と確率論での変換（特性関数）の比較
- ■ 一般のフーリエ変換
- ■ 確率論の特性関数（Characteristic function）
2. 畳み込み定理：世界の見方を変える変換
- ■ 一般のフーリエ変換における畳み込み定理
- ■ 特性関数における畳み込み定理の対応
3. 特性関数の基本性質
4. 特性関数の便利さを体験
- ■ 2つの独立な正規確率変数の和は？
5. まとめ：分野をこえて使える「基礎」を大事にする

1. 一般のフーリエ変換と確率論での変換（特性関数）の比較

　まず、両者の定義を並べて示します。

■ 一般のフーリエ変換

　一般のフーリエ変換とその逆変換は、次の 2 つの式で定義されます。

$\displaystyle{ \begin{aligned} G(\omega) &= \int_{-\infty}^{\infty} g(x)\, e^{-i\omega x}\, dx, \\ g(x) &= \frac{1}{2\pi}\int_{-\infty}^{\infty} G(\omega)\, e^{\,i\omega x}\, d\omega. \end{aligned} }$

ここで、

$\displaystyle{g(x)}$ を 原関数（original function）
$\displaystyle{G(\omega)}$ を 像関数（image function）

と呼んだり、

$\displaystyle{x}$ を変数とする領域を 時間領域（time domain）
$\displaystyle{\omega}$ を変数とする領域を 周波数領域（frequency domain）

と呼んだりします。
　「時間領域」「周波数領域」という呼び方は、物理学・工学でフーリエ変換が波動解析や信号処理に多用されてきた歴史から定着したものです。しかし、本質的には、原関数 $\displaystyle{ g(x) }$ がフーリエ変換という写像 $\displaystyle{ \mathcal{F} }$ によって、像関数 $\displaystyle{ G(\omega) }$ へ移される（写像される）という数学的構造を表しているだけです。
　この表記法は、現在もっとも広く使われているフーリエ変換の標準的な流儀であり、後に扱う「特性関数」も、この変換の一種であることを理解するための基礎となります。

■ 確率論の特性関数（Characteristic function）

　ここでは、実数値をとる確率変数 $\displaystyle{ X }$ を考えます。 $\displaystyle{ X }$ の確率密度関数（probability density function; PDF）を $\displaystyle{ f(x) }$ と書くことにします。すなわち、 $\displaystyle{ X }$ が、任意の区間 $\displaystyle{ (a,b) }$ の値をとる確率が、

$\displaystyle{ \mathbb{P}(a < X \le b) = \int_a^b f(x)\, dx }$

で与えられるとき、関数 $\displaystyle{ f(x) }$ が確率密度関数と呼ばれます。
　このとき、 $\displaystyle{ X }$ の特性関数 $\displaystyle{ \phi(\omega) }$ は、次のように定義します。

$\displaystyle{ \phi(\omega) = \mathbb{E}\bigl[e^{i\omega X}\bigr] = \int_{-\infty}^{\infty} e^{i\omega x}\, f(x)\, dx. }$

右辺は、確率密度関数 $\displaystyle{ f(x) }$ に対するフーリエ変換に似た形になっていることがわかります。この式は、「確率変数 $\displaystyle{ X }$ に対して複素指数関数 $\displaystyle{ e^ {i\omega X} }$ をかけて期待値をとったもの」が特性関数である、という意味です。
　逆に、特性関数 $\displaystyle{ \phi(\omega) }$ がわかっていれば、フーリエ逆変換の形で確率密度関数 $\displaystyle{ f(x) }$ を復元することができます。
その関係は次のようになります。

$\displaystyle{ f(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-i\omega x}\, \phi(\omega)\, d\omega }$

　このように、確率密度関数 $\displaystyle{ f(x) }$ と特性関数 $\displaystyle{ \phi(\omega) }$ は、互いに変換と逆変換によって一対一に対応する関係にあります。
　つまり、フーリエ変換の文脈でいう原関数（元の世界）と像関数（変換後の世界）の対応として理解することができます。
　フーリエ変換に慣れている読者が特性関数を見ると、指数関数の符号が一般的な工学的フーリエ変換とは反対になっていることに気づくかもしれません。しかし、この符号の違いは本質的なものではありません。確率論では変換側に正の符号、逆変換で負の符号が現れ、工学的なフーリエ変換ではその逆が使われることが多いのですが、どちらの流儀を採用しても数学的な構造や結果はまったく変わりません。
　こうした符号の違いは、分野ごとの歴史的背景から生まれた慣習の違いにすぎません。物理学や工学では、時間発展を表す複素指数関数として

$\displaystyle{ e^{-i\omega t} }$

が伝統的に使われてきたため、その符号に合わせてフーリエ変換の公式が定着しました。
　一方、確率論では、確率変数 $\displaystyle{ X }$ に対する複素指数の期待値

$\displaystyle{ \mathbb{E}[e^{i\omega X}] }$

が自然に現れます。これは、確率論で重要な「モーメント母関数（moment-generating function）」

$\displaystyle{ M(t)=\mathbb{E}[e^{tX}] }$

と密接に関係しています。特に、特性関数は

$\displaystyle{ \phi(\omega)=M(i\omega) }$

という単純な置換で得られるため、モーメントの計算とも整合し、現在の形が標準として定着しました。
　モーメント母関数のマクローリン展開を用いれば、

$\displaystyle{ M(t) = \mathbb{E}\!\left[e^{tX}\right] = \sum_{n=0}^{\infty} \frac{t^{n}}{n!}\, \mathbb{E}[X^{n}], }$

という展開が得られます。同じように、特性関数も

$\displaystyle{ \phi(\omega) = \mathbb{E}\!\left[e^{i\omega X}\right] = \sum_{n=0}^{\infty} \frac{(i\omega)^{n}}{n!}\, \mathbb{E}[X^{n}], }$

と展開でき、モーメントと直接対応する構造を持っています。このため、符号の選択が自然に「＋」の側に落ち着いたとも言えます。
　このように、符号の違いは本質的には歴史的な流儀の差であり、数学的にはどちらの形式も完全に等価です。どちらの符号を用いても、変換と逆変換、さらには畳み込みと積の対応関係が失われることはなく、特性関数の理論そのものに影響を与えるものではありません。
　符号は歴史的な事情で異なりますが、変換と逆変換の構造、対応関係は完全に同じです。

2. 畳み込み定理：世界の見方を変える変換

　畳み込み定理とは、元の世界では面倒な積分である「畳み込み」が、変換後の世界では単なる掛け算になるという定理です。このの変換が、フーリエ変換と特性関数に共通する重要な性質です。

■ 一般のフーリエ変換における畳み込み定理

　まず、一般的なフーリエ変換の文脈で畳み込みを定義します。
　2つの関数 $\displaystyle{ f }$ と $\displaystyle{ g }$ の畳み込みは

$\displaystyle{ (f * g)(x) = \int_{-\infty}^{\infty} f(\xi)\, g(x - \xi)\, d\xi }$

という形になります。
　この畳み込みをフーリエ変換すると、次の性質が成り立ちます：

$\displaystyle{ \mathcal{F}[\,f * g\,](\omega) = \mathcal{F}[f](\omega)\, \mathcal{F}[g](\omega) }$

つまり、「元の世界の面倒な積分（畳み込み）」が、「像の世界では、単純な掛け算」になるということです。

■ 特性関数における畳み込み定理の対応

　次に、この構造が確率論でどのように現れるかを見てみましょう。
　確率変数 $\displaystyle{ X }$ と $\displaystyle{ Y }$ が独立であるとします。
このとき、その和

$\displaystyle{ Z = X + Y }$

の確率密度関数は

$\displaystyle{ f_Z(x) = (f_X * f_Y)(x) }$

で与えられます。ここで、 $\displaystyle{f_Z(x)}$ は確率変数 $\displaystyle{Z}$ の確率密度関数を表します。
また、 $\displaystyle{f_X(x)}$ 、および、 $\displaystyle{f_Y(x)}$ は、それぞれ $\displaystyle{X}$ と $\displaystyle{Y}$ の確率密度関数を表します。

　和 $\displaystyle{ Z = X + Y }$ の確率密度関数は、「 $\displaystyle{ X }$ が $\displaystyle{ \xi }$ になり、同時に $\displaystyle{ Y }$ が $\displaystyle{ x-\xi }$ をとる確率の積になる」ので、次の畳み込み積分で、 $\displaystyle{ Z = X + Y }$ の確率密度関数を求めることができます。

$\displaystyle{ f_Z(x) = \int_{-\infty}^{\infty} f_X(\xi)\, f_Y(x - \xi)\, d\xi =(f_X * f_Y)(x) }$

　確率密度関数の畳み込みは、特性関数では次のように変換されます：

$\displaystyle{ \phi_Z(\omega) = \phi_X(\omega)\, \phi_Y(\omega). }$

ここで、 $\displaystyle{ \phi _ X(\omega) }$ や $\displaystyle{ \phi _ Y(\omega) }$ は、それぞれ確率変数 $\displaystyle{X}$ 、 $\displaystyle{Y}$ の特性関数を表します。印象に残してほしいので、再度定義を示せば、

$\displaystyle{ \begin{aligned} \phi_X(\omega) &= \mathbb{E}\!\left[e^{i\omega X}\right] = \int_{-\infty}^{\infty} e^{i\omega x}\, f_X(x)\, dx, \\ \phi_Y(\omega) &= \mathbb{E}\!\left[e^{i\omega Y}\right] = \int_{-\infty}^{\infty} e^{i\omega y}\, f_Y(y)\, dy . \end{aligned} }$

です。
　この定義からわかるように、特性関数は、確率密度関数のフーリエ変換と同じ形をしており、分布の「像」としての役割を持っています。そのため、確率密度関数の畳み込み（＝独立な確率変数の和の分布）は、特性関数の積に対応します。

3. 特性関数の基本性質

　特性関数には、確率変数の性質を効率よく調べるための多くの便利な性質があります。以下では、その代表的な性質を説明します。

■ 正規化（Normalization）

　特性関数は常に $\displaystyle{ t=0 }$ で 1 になります。

$\displaystyle{ \phi_X(0)=1 }$

■ 絶対値は常に 1 以下

　複素指数関数 $\displaystyle{ e^ {itX} }$ は常に絶対値 1 をもちます。

$\displaystyle{ |\phi_X(t)|\le 1. }$

これは、特性関数の安定性を保証する性質です。

■ 分布を一意に決める

　異なる分布が同じ特性関数を持つことはありません。

$\displaystyle{ f_1(x)=f_2(x) \quad\Longleftrightarrow\quad \phi_1(t)=\phi_2(t). }$

　つまり、特性関数は分布を完全に特徴づけます。逆に、特性関数だけが与えられても、逆変換によって分布を復元することができます（後述の性質）。

■ モーメントとの関係

　モーメント母関数

$\displaystyle{ M(t)=\mathbb{E}[e^{tX}] }$

と特性関数には単純な関係があります。

$\displaystyle{ M(t)=\phi_X(-it) }$

　そのため、特性関数を使えばモーメント（平均・分散など）を計算できます。
特に、n 次モーメントは次のように得られます：

$\displaystyle{ \langle X^n\rangle = (-i)^n\, \phi_X^{(n)}(0). }$

これは、特性関数をテイラー展開したときの係数とモーメントが対応していることを意味します。

■ 独立な確率変数の和は特性関数の積

　独立な確率変数

$\displaystyle{ X_1, X_2, \dots, X_n }$

を考えます。ここでは、それぞれの確率変数が互いに独立であり、さらに同一の分布に従う（i.i.d.：independent and identically distributed）と仮定します。すなわち、すべての $\displaystyle{X_i}$ が同じ特性関数 $\displaystyle{\phi_X(t)}$ をもちます。
　このとき、その和

$\displaystyle{ Z=\sum_{i=1}^{n} X_i }$

の特性関数は、次のように非常に単純な形で表されます。

$\displaystyle{ \phi_Z(t) = \left[\,\phi_X(t)\,\right]^n. }$

　つまり、n 個の確率変数の和の特性関数は、元の特性関数を n 乗するだけで求めることができます。

■ 逆変換で確率密度関数に戻せる

　特性関数は、逆フーリエ変換によって確率密度関数を復元できます。

$\displaystyle{ f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx}\, \phi_X(t)\, dt }$

　この性質により、特性関数は「分布の像」として完全に同値な情報を持ちます。特性関数を解析することで分布の情報を失うことはなく、必要に応じて元に戻すこともできます。

4. 特性関数の便利さを体験

　ここでは、特性関数が便利な道具であることを、正規分布に従く確率変数（正規確率変数）を通して体験してみます。
　平均 $\displaystyle{ \mu }$ 、分散 $\displaystyle{ \sigma^ 2 }$ の正規分布

$\displaystyle{ X \sim N(\mu,\sigma^2) }$

の特性関数は、次の形になります（導出は省略します）：

$\displaystyle{ \phi_X(t) = \exp\!\left(i\mu t - \frac{1}{2}\sigma^2 t^2\right). }$

　この式が正しいと認めるだけで、正規分布に関する多くの性質を一行で理解できるようになります。

■ 2つの独立な正規確率変数の和は？

　次の2つの独立な正規確率変数を考えます。

$\displaystyle{ X \sim N(\mu_1,\sigma_1^2),\qquad Y \sim N(\mu_2,\sigma_2^2). }$

このとき、和

$\displaystyle{ Z = X + Y }$

の分布を求めたいとします。
　素直な計算方法は「2つの正規分布の畳み込み」を計算することです。この方法で、計算できるとは思いますが、面倒な積分になります。しかし、特性関数を用いると、この問題は一瞬で解けます。
　独立性より、和の特性関数は

$\displaystyle{ \phi_Z(t) = \phi_X(t)\, \phi_Y(t). }$

となります。これに先ほどの正規分布の特性関数を代入すると，

$\displaystyle{ \phi_Z(t) = \exp\!\left(i\mu_1 t - \tfrac{1}{2}\sigma_1^2 t^2\right)\, \exp\!\left(i\mu_2 t - \tfrac{1}{2}\sigma_2^2 t^2\right). }$

指数の性質を使ってまとめると，

$\displaystyle{ \phi_Z(t) = \exp\!\left(i(\mu_1+\mu_2)t - \tfrac{1}{2}(\sigma_1^2+\sigma_2^2)t^2\right). }$

です。
　正規分布 $\displaystyle{ N(\mu,\sigma^ 2) }$ の特性関数は、

$\displaystyle{ \phi_X(t) = \exp\!\left(i \mu t - \frac{1}{2}\sigma^2 t^2\right). }$

ですので、求めた特性関数

$\displaystyle{ \phi_Z(t) = \exp\!\left(i(\mu_1+\mu_2)t - \tfrac{1}{2}(\sigma_1^2+\sigma_2^2)t^2\right). }$

は、次の正規分布の特性関数と完全に一致しています：

$\displaystyle{ Z \sim N(\,\mu_1+\mu_2,\;\sigma_1^2+\sigma_2^2\,). }$

つまり特性関数から、次のことが即座にわかります：

和 $\displaystyle{Z = X + Y}$ は正規分布に従う
平均は足し算で $\displaystyle{\mu _ 1 + \mu _ 2}$
分散も足し算で $\displaystyle{\sigma _ 1^ 2 + \sigma _ 2^ 2}$

もっといえば、このことは、正規分布は和は正規分布になるということを示しているのです。

5. まとめ：分野をこえて使える「基礎」を大事にする

　フーリエ変換は、もともと波や振動を扱うために生まれた道具でありながら、偏微分方程式、信号解析、さらには確率論・統計学にまで、自然に顔を出します。特性関数はその一例で、「フーリエ変換」という考え方を、分布や確率変数の世界に持ち込んだものにすぎません。
　大切なのは、「これは信号処理の道具」「これは確率論の道具」と最初からラベルを貼ってしまわないことだと思います。同じ数学的な構造が、分野をまたいで何度も再登場している、という事実そのものが、基礎をしっかり学ぶ意義を物語っています。
　フーリエ変換も特性関数も、見た目は違っても、「複雑なものを別の世界へ写し、シンプルに考え直す」という共通の発想の上に成り立っています。この「見方を変える」という考え方さえ身についてしまえば、新しい分野の本を開いたときにも、「これは前に学んだあれと同じ構造だな」と気づけるようになります。
　目の前の公式や計算テクニックだけでなく、その背後にある共通の枠組みを意識して学ぶことは、遠回りに見えて、実は一番の近道です。フーリエ変換や特性関数をきっかけに、「分野にこだわらず、長く使える基礎を身につける」という視点で、学びの歩みを進めてください。

※ もし記事の中で「ここ違うよ」という点や気になるところがあれば、気軽に指摘していただけると助かります。質問や「このテーマも取り上げてほしい」といったリクエストも大歓迎です。必ず対応するとは約束できませんが、できるだけ今後の記事で扱いたいと思います。それと、下のはてなブログランキングはあまり信用できる指標ではなさそうですが (私のブログを読んでいる人は、実際とても少ないです)、押してもらえるとシンプルに励みになります。気が向いたときにポチッとしていただけたら嬉しいです。