ケィオスの時系列解析メモランダム

時系列解析、生体情報解析などをやわらかく語ります

【科学の言葉を知る7】エントロピー:「取り返しのつかない変化」と「情報の欠落」

エントロピーという言葉を聞くと、多くの人は「無秩序」「乱雑さ」「情報量の平均」などの教科書的な表現を思い浮かべます。けれども、エントロピーが最初に登場した熱力学の教科書をいくら読んでも、どこか釈然としない感覚が残るのではないでしょうか。
 たとえば――

  • 熱力学を勉強しても、結局エントロピーって何なのかわからない。なぜ、ΔQ/T を積分したものが大事だと気づいたのか? なぜ、それが増えるのか?

  • 統計力学や情報理論に出てくるエントロピーは美しく洗練されているのに、その源流が蒸気機関という汗臭い技術問題だなんてなんか不思議

  • どうして「粒子の状態数」とか「確率の散らばり」といった抽象的な話が、現実の熱機関の効率の話とつながるのか?

 こうした素朴な疑問を、私自身も長いあいだ抱いていました。ボルツマン・ギブスのエントロピーやシャノンのエントロピーから入れば、数学的な構造はすっと見通せます。そして現代では、熱の正体が分子の運動であることが明らかになっているため、その認識から出発すればエントロピーのイメージもつかみやすくなります。しかし、熱の正体も、分子の存在すら確信を持てなかった 19 世紀の科学者たちが、どうやってエントロピーという概念にたどり着いたのかを思うと、その探究心と洞察力に、時代を超えた熱いドラマを感じます。
 今回は、19 世紀の研究者たちが、目の前の現象がどうしても説明できないという壁にぶつかりながら、試行錯誤の末に“エントロピー”という量を必要とするに至った道のりを、歴史の流れに沿って解説していきたいと思います。

1. カロリック仮説の限界:熱は「流体のようなもの」と信じられていた

 17 世紀のニュートン(Isaac Newton, Opticks, 1704)をはじめ、多くの自然哲学者は、熱を「粒子の運動」と結びつけて考える可能性を示唆していました。しかし、当時の科学的手法では原子や分子の存在が証明できず、熱を「見えない物質」として扱うモデルのほうが、現象を簡単に説明できたのです。この「見えない物質」の候補として「カロリック」が登場します。

■ カロリック仮説の登場

 18 世紀後半、フランスの化学者 アントワーヌ・ラヴォアジエ(Antoine Lavoisier, 1743–1794) が、熱を「カロリック (calorique)」と呼ばれる重さゼロの流体だとする体系的モデルを提案します。ラヴォアジエの著書 Traité Élémentaire de Chimie(1789)には、カロリックは以下の性質を持つと説明されています。

  • 物体の内部に“しみ込んで”存在する流体的な物質である
  • カロリックの量が多いほど温度が高い
  • カロリックは他の物質と同様、空間に広がりうる“実体”である
  • 保存的であり、どこかから突然生まれたり消えたりはしない
  • 熱伝導とは、カロリックが高いところから低いところへと“移動”する現象である

このモデルは、当時の感覚に非常にフィットしていました。

  • 金属棒の片方を温めると、じわじわ熱が反対側へ伝わる。これは「カロリックが流れている」と考えればよい。
  • 温度の高低を「カロリックの濃淡」と見なせるため、扱いやすい。

実験的・直観的に筋が通るように感じられたため、18 世紀末にはヨーロッパの科学界で標準的な理論として広く受け入れられていました。そして、たとえば—— あなたの手と私の手が触れ合い、私の手の温かさをあなたが感じるとき、当時の言葉でいえば、それは“私の手からあなたの手へカロリックが流れ込んでいる”と理解されたのです。

■ カロリック仮説の問題点

 しかし、この仮説には決定的な弱点がありました。それが

カロリックは保存する(総量が一定)

という前提です。この前提のため、以下の現象が説明できませんでした。

  1. 摩擦によって無限に熱が生じる
     まず、カロリック仮説の最大の欠点が、摩擦によって無限に熱が生じるという事実でした。イギリスの軍人であり発明家でもあったベンジャミン・トンプソン(Benjamin Thompson, 1753–1814, Count Rumfordとも呼ばれる)は、1798 年に砲身を旋盤で削る実験を行い、削り続けるかぎりほぼ無制限に熱が発生し続けることを観察しました。もし熱が「カロリック」という保存的な流体であるなら、この熱はどこから供給されているのか説明がつきません。トンプソンはこの矛盾を鋭く指摘し、ついに “Heat is not a material substance.”(熱は物質的なものではない)と結論づけ、カロリック仮説に深刻な疑問を投げかけました。

  2. 状態変化の矛盾:「熱」を加えても「温度」が上がらない?
     カロリック説には、「カロリックの密度=温度」であり、「カロリックが入り込むと物体は膨張する」という大前提がありました。しかし、潜熱や相転移に伴う体積変化は、この単純な図式だけでは扱いにくい現象でした。たとえば 0℃ の氷が融けるとき、大量の熱を吸収しても温度は 0℃ のままです。カロリック説では「顕熱」と「潜熱」を区別することで一応この現象を説明できますが、「熱 = 流体の濃淡」とする直観的な像からは、やや外れた扱いを強いられます。さらに、氷から水への相転移で体積が縮むという水の「異常な」振る舞いは、カロリックを「空間を占める流体」とみなす単純なモデルには収まりきらず、理論的な負担となっていきました。

  3. 熱と仕事(力学的エネルギー)の関係が不明確
     さらに、19 世紀に入ると、熱と仕事(力学的エネルギー)の関係がいっそう明瞭になり、カロリック説は決定的に行き詰まります。そのきっかけを作ったのが、マンチェスターのビール醸造業の家に生まれた実験好きの青年、ジェームズ・ジュール(James Prescott Joule, 1818–1889)でした。
     ジュールは 1840 年代に、機械的仕事がどれほど熱に変わるのかを定量的に測るための一連の実験を行いました。その中でも最も有名なのが「落下重りによる水の攪拌実験」です。彼は、糸でつるした重りを落下させ、その重りが回転軸を通じて水槽の中の羽根車を回す仕掛けを用意しました。重りが下に落ちることで、重力により一定量の仕事が羽根車へと伝わり、水がかき混ぜられます。このとき、水の温度がどれだけ上昇するかを、温度計で緻密に測定したのです。
     驚くべきことに、重りが失った位置エネルギーは、ほぼ完全に水の温度上昇というとして回収されました。同じ実験を繰り返すと、条件を変えても、常に、仕事が熱に一定比で変換されることがわかり、ジュールはこの比例定数を今日「ジュールの機械当量」として知られる値  J として報告しました。
     彼は同様の検証を、摩擦する回転円盤、圧縮する気体、電流を流したコイルなどさまざまな装置で行い、すべての場合において 「熱は仕事と等価なエネルギーの一形態であるという普遍的結論が得られること」を示しました。
     この発見は、熱を「保存する流体」とみなすカロリック仮説とは決定的に矛盾します。熱が仕事へ、仕事が熱へと相互に変換されるのであれば、熱は「流体のようなも」のではなく、エネルギーの形態の一つでなければならないからです。こうしてカロリック仮説は、エネルギー保存則と両立しないものとして学界の支持を失い、ついに近代熱力学へ移行する時代が訪れました。

熱機関のイメージ

2. 熱機関の時代:仕事に変えられる熱と、変えられない熱

 19 世紀の幕開けとともに、イギリスでは石炭を燃やす巨大な蒸気機関が工場を動かし、ポンプを回し、汽車を走らせていました。蒸気機関は、当時の社会を象徴する“文明のエンジン”でしたが、実は科学者たちには大きな謎が残されていました。

「どうして一部の熱は仕事になるのに、残りの熱は仕事に変えられないのか?」

 熱が「流体のようなもの」だと考えられていたカロリック時代であっても、この疑問は避けて通れませんでした。燃やした石炭の熱のすべてが仕事に変わるなら、機関はもっともっと強力になってよいはずです。しかし、どんなに工夫しても、どうしても「取りこぼす熱」があるのです。
 その謎に真正面から挑んだのが、わずか 28 歳のフランス人技術将校、サディ・カルノー(Sadi Carnot, 1796–1832) でした。

■ 理想機関という存在しない装置を考えた男カルノー

 1824 年、フランスの若き技術将校 サディ・カルノー(Sadi Carnot, 1796–1832) は、わずか 1 冊の薄い本 『火の動力に関する考察(Réflexions sur la puissance motrice du feu)』 を出版します。これは英語では一般に “Reflections on the Motive Power of Fire” (1824) と呼ばれ、後の熱力学を根本から変えてしまう、まさに古典中の古典となる著作です。
 当時のカルノーは、まだラヴォアジエ流の「カロリック説」を信じていました。つまり、熱とは「高温から低温へ流れる流体」であり、物体に出入りするカロリックの量が「温度」だと理解していたのです。しかし、その制約のなかでも、彼は驚くほど鋭い洞察にたどり着きます。

水車のイメージ

■ カルノーの洞察①:熱と水車の落差のアナロジー

 カルノーはまず、蒸気機関を抽象化してこう考えました。

熱は 高温から低温へ自然に流れる。 この「落差」があるからこそ、流れの途中で仕事が取り出せる。

これは、水が高い場所から落ちると水車が回るように、熱もまた「高さ」を持っており、高温が高い位置、低温が低い位置に相当すると捉えたのです。

■ カルノーの洞察②:実在しない究極の「理想機関」を考える

 カルノーが本当に革新的だったのは、当時存在しない「完全な熱機関」を仮想実験として導入したところです。

  • 摩擦がない
  • 急激な変化がない
  • すべてが完全に可逆(元に戻せる)

という、現実にはあり得ない「理想的な機関」である「カルノーサイクル」を思い描き、「もし熱機関が完璧だったら、どれほどの仕事が取り出せるのか?」という問いを立てたのです。カルノーサイクルは、操作の過程をすべて準静的操作として扱います。しかし、この「準静的」という言葉にだまされてはいけませんそんな都合のいい操作は、現実世界には存在しないのです。
 そもそも、エンジンのような熱機関から動力を取り出すためには、ピストンを押すための明確な「非平衡(圧力差)」が不可欠です。完全に力が釣り合った「平衡状態」では、空気分子の押し合いは引き分けになり、ピストンはピクリとも動きません。動かなければ、当然仕事は生まれません。どんな過程であっても わずかな非平衡(圧力差・温度差) が必須なのです。つまり、準静的過程とは、非平衡状態をゼロにするのではなく、極限まで小さく抑えた理想化された過程とみなすべきであり、平衡そのものではありません。非平衡状態を極限まで小さくする代償は、時間に現れます。駆動力がほぼゼロなら動きもほぼゼロ。結果として、カルノーサイクルは1サイクルに無限の時間を要することになるのです。
 それなのに、教科書に描かれたカルノーサイクルの図(PV図)には、ピストンを動かすための「圧力差」が描かれていません。ここがカルノーの天才的な点です。彼は、「エネルギー源としての落差(温度差)」は最大限活かしつつ、「動かすための駆動力(圧力差)」をあえて無限小にすることで、無駄なロスを一切排除した「理想限界」を見極めようとしたのです。現実には動かない「無限の時間の世界」に踏み込むことで、彼は物理法則の頂点に到達したのです。
 ※ ここに、こっそり私の個人的な主張を書いておきます。みなさんが学校で習う「熱力学」、いわゆる「平衡系の熱力学」は、実は「動くもの」を扱うことができません。名前にはカッコよく「サーモ(熱)ダイナミクス(力学)」とついていますが、あれは看板に偽りありです。実態は、止まっている状態しか扱えない「サーモスタティクス(熱静力学)」と呼ぶべき代物です。証拠は数式にあります。教科書に出てくる熱力学の基本式を見返してみてください。そこには、時間 t という変数がどこにも見当たらないはずです。熱力学は、途中の非平衡状態は見ないことにするという、大胆な「割り切り」のうえに成り立っています。私たちが見ているのは、あくまで始まりと終わりの平衡状態だけ。その間で実際に何が起きているのか――分子がどれほど乱れ、どれほど非平衡が生じているのか――については、平衡熱力学は一切語らないのです。

■ カルノーの洞察③:どう頑張っても、すべての熱を仕事にはできない

 「究極の理想状態を考えても、熱の一部を低温側へ捨てなければ仕事は取り出せない」、カルノーはこの事実に気づいたのです。なぜなら、熱機関が動き続けるには、水車における「落差」のように、「高温」と「低温」という2つの温度の間を熱が流れることが必要だからです。高温側から受け取った熱は、そのすべてを仕事に変えることはできず、残った熱(廃熱)として必ず低温側へ「排出」されなければなりません。カルノーは、熱が低温側へ流れ出るプロセスが不可欠であることを「熱機関の本質」として位置づけました。

■ 「熱の運び屋」としてのエントロピーの発見

 カルノー自身は、まだエントロピーという言葉も概念も持っていません。しかし、

  • 熱が仕事にならずに低温側へ逃げていく
  • その逃げていく量には、どうやら普遍的な規則がある
  • この規則は熱機関の効率を決める根本原理である

という洞察は、後に クラウジウス(Rudolf Clausius) が「エントロピー」という概念として結晶化していくための決定的な一歩となりました。
 カルノーは「熱機関が動くには、高温から低温への熱の流れ(捨てられる熱)が不可欠だ」と見抜きました。しかし、彼はその「流れているもの」の正体を突き止める前に、若くしてこの世を去りました。その正体に気づいたのがクラウジウスです。彼はカルノーの水車のアナロジーを、数式として厳密に翻訳したのです。
 水車とのアナロジーで考察すれば、水車を回すとき、高いところから入ってきた「水」は、仕事をした後、低いところへ出ていきます。このとき、全体の水の量は減りません。入ってきた水と同じ量の水を、下流へ流さなければ(捨てなければ)、水車は回り続けられません。クラウジウスは考えました。「熱機関においても、エネルギー(熱)は仕事に変わって減るが、『水のように減らずに通過していく何か』があるのではないか?」と。
 それこそが、エントロピーです。カルノーの理想的なサイクル(可逆過程)において、エントロピーは保存されます。これは「水車の中で水がこぼれたり、勝手に増えたりしない」状態です。高温側から入ってきたエントロピーは、水車における「水」の役割を果たしており、仕事を産み出す媒体として働き、その全量が低温側へと「捨て」られます。「エントロピーの収支がゼロ」というのは、「エンジンの中にゴミが溜まらない(水のアナロジーとしてのエントロピーが残らない)」という意味であって、「何も捨てていない」わけではありません。むしろ、「エントロピーという運び屋(水車における水)を、出口できちんと排出しなければならない」ことこそが、カルノーが直感した「低温側に熱を捨てなければならない理由」の正体だったのです。

3. 不可逆性と「失われる仕事」―― 熱はどこへ消えてしまうのか?

 19 世紀半ば、ヨーロッパの物理学界には奇妙な状況がありました。ジュールの実験によって 「熱は仕事に変わる(エネルギーの一形態)」 という第一法則が確立しつつあった一方で、カルノーの洞察による 「熱機関には本質的な限界がある」 という第二の原理も無視できなくなっていたのです。
 しかし、この二つの原理は当時まだ“別々の言語”で語られていました。

  • ジュール:熱は仕事と等価なエネルギーである(量的関係)
  • カルノー:熱機関は高温から低温への熱流によって働く(質的関係)

 この 量(エネルギー保存)質(不可逆性) を結びつけた人物こそ、当時ドイツ北部に存在した王国・プロイセン(Prussia)で生まれた物理学者、ルドルフ・クラウジウス(Rudolf Clausius, 1822–1888) でした。プロイセンは現在のドイツの前身となった国家で、ベルリンを中心に教育・科学が非常に発達していた地域です。クラウジウスはその豊かな学問環境の中で育ち、熱力学を決定的に前進させる思想を生み出しました。

■ クラウジウスによる熱力学の体系化 ― 第二法則の確立

 クラウジウスは 1850 年の有名な論文 “On the Moving Force of Heat” において、熱が仕事と等価なエネルギーとしてエネルギー保存則の枠組みで扱えること、そして自然な熱の流れは高温から低温へ向かい、その逆向きの流れは自発的には起こらないことを明確にしました。言い換えれば彼は、「エネルギーそのものは保存されるが、そのうち仕事として取り出せる“有効な部分”は減っていく」という、今日の熱力学の核心となる見方を、最初に鮮明なかたちで提示したのです。

■ “取り返しのつかない損失”という新しい視点 ―― 熱機関では、何を“捨てなければならない”のか?

 カルノーは 1824 年、熱機関が仕事を生み出すには、どうしても高温側で受け取った何かを低温側へ捨てなければならないことを示しました。彼の発見は単なる効率の話だけではありません。「熱機関が動く以上、必ず下流へ流し去られる“何か”が存在する」という、本質的な構造を明らかにしたのです。
 クラウジウスは、この「低温側へ必ず排出される量」に普遍的な意味があると考えました。熱 Q が高温から低温へ移動するとき、エネルギーそのものは保存されます。しかし、その熱がどの温度で授受されたかによって、仕事として取り出せる可能性(有効性)が変わる点にクラウジウスは注目しました。つまり彼は、熱そのものではなく、熱の授受に伴って必ず移動する量を捉える必要があると考えたのです。

「エネルギーそのものは保存されているのに、なぜ熱機関では「捨てなければならない量」が生じるのか? その「捨てる量」を表す物理量があるはずだ。」

クラウジウスが探究し、この問いに対して導入したのが、のちに エントロピー と名付けられた量でした。

■ 可逆過程を用いたクラウジウスの着想――「理想の世界」に立ってみる

 クラウジウスは、現実の不可逆な熱流をそのまま扱うのではなく、まずは完全に可逆な(逆向きにも戻せる)仮想的な過程を考えるという、カルノーの流れを継ぐ発想を採用しました。可逆過程であれば、系は常に平衡状態にあり、温度 T もそこで出入りする微小な可逆熱量 dQ _ {\rm rev} も厳密に定義できます。クラウジウスは、この“理想の舞台”に立って初めて、熱が運んでいるものの正体を明確に捉えられると考えたのです。
 その着想を支えたのが、カルノーが示唆した水車のアナロジーでした。水車では、高い場所にある水が低い場所へ落ちるとき、その位置エネルギーの差

\displaystyle{
\Delta U = m g (h_{\mathrm{high}} - h_{\mathrm{low}})
}

が仕事になります。ここで重要なのは、水の量 m は過程を通じて失われないことです。水車が回り続けるためには、上流から入った水と同じ量の水が、必ず下流へ出ていかなければならない。クラウジウスは、この“保存される通過物”という考え方にヒントを得ました。
 では、熱機関において保存されながら通過するものとは何でしょうか。クラウジウスは、位置エネルギー U = mgh に対応する熱の形を考え、次の対応関係を見抜きました。

  • 水の質量 mエントロピー S
  • 高さ h温度 T
  • 位置エネルギー (U = mgh) ↔ 等温・可逆な熱の授受における Q = T \Delta S

この対応を使えば、熱機関の動作は水車とまったく同じ構造で書き表せます。熱機関の等温・可逆過程に限れば、高温側で吸収される熱は

\displaystyle{
Q_H = T_H\, S,
}

低温側へ排出される熱は

\displaystyle{
Q_L = T_L\, S ,
}

であり、両者の差

\displaystyle{
W = Q_H - Q_L = S (T_H - T_L)
}

が熱機関の生み出す仕事に相当します。これは、水車が

\displaystyle{
W = m g (h_{\mathrm{high}} - h_{\mathrm{low}})
}

によって仕事を得るのと完全に類似しています。
 この比較から明らかになるのは、熱機関の中で実際に「落ちているもの」は温度ではなく、エントロピーであるという事実です。理想的な可逆過程において、エントロピー S は水 m に対応する「保存される流体」に対応するものであり、高温という「高い場所」から低温という「低い場所」へ落ちることで仕事の源をつくり出します。したがって、カルノーの機関が動作するには、水車と同様に「必ず、水を捨てる下流(=エントロピーを捨てる低温熱源)が必要」になります。高温側から受け取ったエントロピーをどこかへ捨てなければ、サイクルは閉じず、仕事を生み出すこともできません。
 クラウジウスが可逆過程を用いた理由はまさにここにあります。可逆過程ならばエントロピーは

\displaystyle{
\Delta S = 0
}

として保存され、まるで水がこぼれたり消えたりしない理想の水車と同じように扱えるからです。エンジンは、高温側から入ったエントロピーを全量低温側へ送り出し、その「落差」によって仕事を得る。この構造を数式として捉えた瞬間、クラウジウスはエントロピーという概念の必然性を直感したのでした。
 可逆過程では、系は変化の途中でも常に平衡状態にあり、温度 T も、そこで出入りする微小な可逆熱量 dQ_{\rm rev} も厳密に定義できます。クラウジウスがこの理想過程に注目した理由は、上で述べた「水車の構造」を熱機関にそのまま移し替えるためでした。水車で保存されるのが水 m であったように、可逆過程に沿って熱が授受されるときに保存されて流れる量――それこそがエントロピー S であり、その微小変化 dS は熱の出入りによって決まるはずだと考えたのです。
 この「保存される通過量」を定量化する手がかりとして、クラウジウスが見いだした基本量が

\displaystyle{
\frac{dQ_{\rm rev}}{T}
}

でした。この比は、水車における「高さ h にある水の落差」が仕事の源になったことを思い起こさせます。温度 T が熱に対する「高さ」を与え、そこで授受される微小な熱量 dQ_{\rm rev} が「流れる水の量」に相当します。そこでクラウジウスは、この比をエントロピーの微小変化として定義しました:

\displaystyle{
dS = \frac{dQ_{\rm rev}}{T}
}

この式の意味は明快です。熱が高温(=高い場所)でやり取りされるほど、同じ熱量でも付随するエントロピーは小さくなり、逆に低温(=低い場所)ではエントロピーは大きくなります。これは水車の比喩とよく対応しています。高い位置の水は少量でも大きな仕事を生み出しますが、低い位置の水では大量にあっても仕事の「価値」は低い。同じ構造が熱にも当てはまり、高温で授受される熱は“価値が高く”仕事に変えやすい一方、低温の熱は“価値が低く”仕事に結びつきにくいのです。そしてこの対応により、「少量の水 ↔ 少量のエントロピー」、「大量の水 ↔ 大量のエントロピー」という関係が成り立ち、温度に応じてエントロピーの変化量 dS がどれだけ大きくなるかが直接決まります。  したがって、

\displaystyle{
dS = \frac{dQ_{\rm rev}}{T}
}

という定義は、熱が温度という「高さ」をもつ場所を通過するとき、どれだけのエントロピーが付随するか を定める基本式として解釈できます。可逆過程に沿うかぎり、このエントロピーの流れは水車の水と同様に保存され、サイクル全体で

\displaystyle{
\Delta S = \oint dS = 0
}
となります。
 クラウジウスは、この関係式こそが熱機関における不可逆性の核心を捉えたものだと確信しました。エントロピーは、熱がどの温度で受け渡されるかによって決まる通過量であり、温度差という落差を背景にエネルギーの価値がどのように変化するかを測る物理量として、ここに初めて明確な姿を得たのです。

■ 可逆過程を使うと、なぜエントロピーが定義できるのか?――可逆過程は経路によらない

 「可逆過程」とは、変化を極限的にゆっくり進め、どの瞬間もほぼ平衡状態に近い、頭の中でだけ存在する理想的な変化です。

  • 温度差は限りなく小さい
  • 摩擦も乱流もない
  • 外界とのやりとりが常に静かで滑らか
  • 元に戻そうと思えば、同じ道順を逆にたどれる

こうした仮想的過程では、変化の途中でも温度 T が明確に定義でき、そこで出入りする微小な熱量も曖昧さなく定義できます。この「可逆過程に沿った微小な熱量」を

\displaystyle{
dQ_{\rm rev}
}

と書きます。これは、現実の \displaystyle{
dQ} ではなく、

「もしこの変化を完全に可逆に実行できたとしたら、そのときやり取りする熱量」 という定義なのです。

 クラウジウスは、可逆過程を用いたときにだけ、次の積分

\displaystyle{
\int_{A}^{B} \frac{dQ_{\rm rev}}{T}
}

どの可逆経路を通っても同じ値になる ことを示しました(この特徴は、重力ポテンシャルの性質とよく似ています)。
 これは非常に重要な事実です。なぜなら、こうした「経路によらない量」だけが、状態量(state function) として定義できるからです。熱力学でいう状態量とは、系の「その瞬間の平衡状態」だけで値が決まり、どうやってその状態に到達したか(過程)には依存しない量のことです。
 1865 年、クラウジウスはこの量を新しい状態量として採用し、次のように宣言します。

「この量を エントロピー(Entropy) と名づける」

新しい状態量 S は、次の式で定義されます。

\displaystyle{
S = \int \frac{dQ_{\rm rev}}{T}
}

ここで、Q _ {\rm rev} は可逆過程で系に出入りする微小な熱量、T は、そのときの温度(絶対温度)です。

■ 不可逆過程ではどうなる?――平衡熱力学が「不可逆性」を語るための唯一の方法

 不可逆過程では途中の状態が平衡でないため、「その瞬間に温度 T がいくらで、そこをどれだけの熱が通ったか」を厳密に定義できません。
 そこでクラウジウスは、不可逆過程 A → B のエントロピー変化を、前後の平衡状態だけから 次のように与えました。

\displaystyle{
\Delta S = S(B) - S(A)
}

これは、平衡状態だけがわかれば定義できます。
 一方、実際の不可逆過程でやり取りした熱量 dQ を使って計算すると、

\displaystyle{
\Delta S \;\ge\; \int_{\rm actual} \frac{dQ}{T}
}

という クラウジウスの不等式 が成り立ちます(注意:不可逆過程では、系の内部温度が一定とは限りません。そこで、この式の T は、系が熱を受け取っている「接触している外界の温度」を指すと考える必要があります)。
 クラウジウスの不等式は、

  • 可逆過程なら 等号
  • 不可逆過程なら 不等号

になります。この不等号の差分こそが、摩擦・熱伝導・混合といった不可逆性の増大 を表します。
 クラウジウスはこの量の重要性を述べながら、有名な次の言葉で章を締めくくります。

“The energy of the universe is constant; the entropy of the universe tends to a maximum.”
(宇宙のエネルギーは一定だが、宇宙のエントロピーは増大する傾向にある)

■ なぜエントロピーは増えるのか?

 クラウジウスは、まだ原子や分子の統計的ふるまいを知らなかった時代の人です。それでも彼は、熱が低温へと流れるとき、「価値(仕事に変換できる可能性)」が奪われてしまう構造を見抜きました。

  • すべての熱  Q を仕事に変換できるわけではない
  • ある部分はどうしても低温へ逃げてしまう
  • その逃げていく“使えない分”が積み重なっていく
  • この積み重なりの総量が S = エントロピー である

という図式です。
 クラウジウスは、熱機関や日常の現象から「不可逆性」を抽象化し、数学的に扱える物理量へと結晶させた最初の人物なのです。

4. ミクロな視点からエントロピーを形作ったボルツマン

 クラウジウスによってエントロピーが「不可逆性」を測る状態量として定義されたとき、科学者たちはまだ “熱の正体” を本当に理解していたわけではありませんでした。当時の物理学では、原子や分子の存在すら確実ではなかったのです。

■ 原子は本当に存在するのか? ―― 19 世紀の深い迷い

 19 世紀半ば、原子論は単なる有力な仮説にすぎず、多くの科学者は懐疑的でした。特にドイツ語圏の“エネルギー学派”(マッハ、オストワルトら)は、「原子などという見えないものを持ち込むのは非科学的だ」と強く主張していました。
 このような状況の中で、クラウジウスが導入したエントロピーを原子・分子の運動から説明しようとした青年がいました。それが ルートヴィッヒ・ボルツマン(Ludwig Boltzmann, 1844–1906) です。

■ ボルツマンの発想:エントロピー = “あり得る微視的状態の数”

 ボルツマンはこう考えました。

「熱とは分子の運動であり、不可逆性とは、巨視的に同じ状態に見えても、 微視的には膨大な状態があることから生まれるのではないか?」

ここでいう微視的状態とは、すべての分子の位置と運動量を完全に記述した状態です。たとえば、気体が箱の左半分に集まっている状態よりも、全体に広がっている状態の方が、分子配置の可能性は圧倒的に多い。
 ボルツマンは、この「微視的状態の数」を W と書き、エントロピー S を次のように表しました。

\displaystyle{
S = k \log W
}

ここで、k は、のちに「ボルツマン定数」として知られることになる重要な定数です。  エントロピー S の式に対数が現れる理由は、直感的には、「微視的状態が指数関数的に増えるのに対し、 エントロピーが加法的に増えてほしいから」と言うことです。

■ 巨視的には決定論、微視的には確率論

 ボルツマンの思想の核心はこうです。

不可逆性(エントロピー増大)は、力学法則そのものではなく、 微視的状態数の圧倒的な偏りから生まれる“統計的必然”である。

気体が自然に部屋中に広がるのは、「そうなることが圧倒的に起こりやすいから」です。これは、クラウジウスが「熱が価値を失う」と表現した不可逆性を、分子レベルの視点で説明した最初の試みでした。

■ しかし、時代は彼を理解しなかった ―― ボルツマンの悲運

 ボルツマンの原子論は当時の主流派に完全には受け入れられませんでした。

  • 「原子なんて存在しない」
  • 「確率論を物理に持ち込むのは誤りだ」
  • 「不可逆性を確率で説明するのは詭弁だ」

と厳しく批判されました。特にエルンスト・マッハ(Mach)やヴィルヘルム・オストワルト(Ostwald)は、 公然とボルツマンを批判し続けました。精神的に非常に繊細だったボルツマンは、この批判に深く傷つきます。1906 年、 62 歳の彼は療養旅行先のイタリアで、自ら命を絶ってしまいました。

5. 統計力学を数学として完成させた男ギブス

 19 世紀後半、ボルツマンとほぼ同時代に、その理論を見事に体系化した人物が現れます。アメリカの数学者 ジョサイア・ウィラード・ギブス(J. Willard Gibbs, 1839–1903) です。ギブスは、ボルツマンのアイデアを一般化し、系の状態を「確率分布」で表すという革新的な概念―「ギブスの集団(ensemble)」―を導入しました。

  • マイクロカノニカル分布
  • カノニカル分布
  • グランドカノニカル分布

これらは、量子統計、化学平衡、情報理論など、20 世紀の科学を支える基礎となりました。
 ギブスのエントロピーは、

\displaystyle{
S = -k \sum_i p_i \log p_i
}

という、ボルツマンの式を確率分布に拡張した形になっています。

6. 通信の世界に姿を変えて現れたシャノンのエントロピー

 クラウジウスが「失われる仕事」を記述するために導入したエントロピーは、ボルツマンとギブスによって、「どれだけ多くの微視的状態がありうるか」「どのような確率分布で状態が実現しているか」という、統計的な概念へと拡張されました。20 世紀に入る頃には、エントロピーはもはや「熱」だけのものではなく、「確率の散らばり」「不確実性」を表す数学的な量としての顔を持ち始めていたのです。
 そのエントロピーが、まったく別の世界――通信技術と情報伝達――に再び姿を現したのが、20 世紀半ばのことでした。

■ 電話線と暗号の問題から生まれた「情報のエントロピー」

 第二次世界大戦前後、アメリカのベル研究所で働いていた若きエンジニア・数学者 クロード・シャノン(Claude E. Shannon, 1916–2001) は、ある素朴な疑問に取りつかれていました。

「ある通信路(電話線・無線回線など)で、ノイズに邪魔されながらも、 いったいどれくらいの“情報”を正確に送ることができるのか?」

 当時の電話網や電信システムは、ノイズや雑音に悩まされていました。途中で信号がかすれたり、混線したりするなかで、「どれだけの速度で、どれだけ確実に情報を伝えられるのか」を、物理量のように定量化したい――それがシャノンの課題でした。
 シャノンは、メッセージを「確率的に出現する記号の列」としてとらえました。  たとえば、日本語なら「ら」「れ」「る」はよく出るが、「ぢ」「ゑ」は滅多に出ない。英語でも “e” や “t” はよく出るが、“z” はあまり出ない。この「出やすさ・出にくさ」を確率 p _ i で評価してみると、

よく出てくる記号は、あまり驚きがない(情報が小さい) めったに出てこない記号は、出たときの驚きが大きい(情報が大きい)

という感覚が、うまく表現できることに気づきます。
 そこでシャノンは、番号 i で指定したひとつの記号が出現したときの「驚き」や「情報量」を -\log p _ i と定め、それが平均するとどれくらいになるか、すなわち

\displaystyle{
H = - \sum_i p_i \log p_i
}

という量を導入しました。これが、今日「シャノンのエントロピー」と呼ばれているものです。この H は、「メッセージ源がどれだけ予測しにくいか」 を表す量であり、単位を 2 を底にした対数で測れば「ビット(bit)」という単位を持つことになります。

■ なぜシャノンは「エントロピー」という名を選んだのか?

 面白いことに、シャノン自身は最初から「エントロピー」という名前にこだわっていたわけではありません。しかし、彼の式

\displaystyle{
H = - \sum_i p_i \log p_i
}

が、ギブスのエントロピー

\displaystyle{
S = -k \sum_i p_i \log p_i
}

全く同じ形(定数 k と単位の違いを除けば)になっていることに、周囲の物理学者たちはすぐに気づきました。
 有名な逸話では、物理学者フォン・ノイマンがシャノンに対して、

「それをエントロピーと呼びなさい。すでに熱力学の世界でこの名前が使われているし、 誰も何なのか本当に分かっていないから、議論になったとき便利だよ。」

と言ったとも伝えられています(真偽はともかく、エントロピーという言葉の謎めいた多義性をよく表した話です)。
 いずれにせよ、シャノンは物理の世界から生まれた数学的な関数形を、「情報の不確実さ」を測る道具として再利用したことになります。

■ 熱の世界から、通信・情報・符号の世界へ

 シャノンの理論の中核には、「どれだけの情報を、どれだけの符号長(ビット数)で表現できるか」という問題があります。
 情報エントロピー H が大きいほど、

  • 未来に現れるメッセージが予測しにくい
  • そのメッセージを失わずに表現するには、より多くのビット数が必要

となります。逆に、偏った分布(“同じ記号ばかり出る”ようなメッセージ源)の場合、エントロピーは小さくなり、短い符号で効率よく表現できることになります。

 つまり、シャノンのエントロピーは、

「このメッセージ源から出てくる情報を、どれだけ圧縮できるか」 「この通信路を通じて、どれだけ確実に情報を送れるか」

という問いに、上限・下限を与える役割を果たしているのです。

7. まとめ

 エントロピーという概念は、最初はとても現実的な問題――「蒸気機関で、なぜ燃やした熱のすべてを仕事に変えられないのか?」――から生まれました。クラウジウスは、その「どうしても仕事にならない熱」を測る量としてエントロピーを導入し、ボルツマンとギブスはそれを「どれだけ多くの微視的状態がありうるか」「確率分布がどれだけ散らばっているか」を表す量として言い換えました。ここでエントロピーは、熱だけでなく、可能性の多さや不確実さを測る普遍的な指標へと姿を変えていきます。
 20 世紀に入ると、ジェインズらによる最大エントロピー原理が登場します。これは、「わかっている条件(平均値など)だけを守り、それ以外の点ではエントロピーが最大になる分布を選ぶのが、いちばん“偏りのない仮説”である」という考え方です。熱平衡の分布(ボルツマン分布)も、この原理から自然に導くことができます。この視点では、エントロピーは「自然や私たちが、限られた情報のもとでどのように“合理的に無知であろうとするか”」を決める原理として働いています。  とはいえ、どれほど説明を重ねても、「結局エントロピーって何なのか、まだつかみきれない」と感じる人は多いでしょう。それこそが、目に見えない“可能性の広がり”や“不確実性”を扱う概念の難しさであり、同時にエントロピーという言葉が、さまざまな分野で独特の存在感を放ち続けている理由でもあるのだと思います。

※ もし記事の中で「ここ違うよ」という点や気になるところがあれば、気軽に指摘していただけると助かります。質問や「このテーマも取り上げてほしい」といったリクエストも大歓迎です。必ず対応するとは約束できませんが、できるだけ今後の記事で扱いたいと思います。それと、下のはてなブログランキングはあまり信用できる指標ではなさそうですが (私のブログを読んでいる人は、実際とても少ないです)、押してもらえるとシンプルに励みになります。気が向いたときにポチッとしていただけたら嬉しいです。