エントロピー「極小史」

「エントロピー」という概念は、19世紀に、カルノー、クラジウスらの熱機関の熱効率の研究から生まれた。

それは、産業革命を引き起こした、当時の最先端技術であった蒸気機関の基礎理論として、極めて実践的な関心に裏付けられたものだった。

僕が、初めて熱力学にふれた何十年か前には、ピストンの絵や「カルノー・サイクル」のグラフが、必ずでてきていた。

ボルツマン、ギブス、ヘルムホルツらの統計力学の確立とともに、エントロピー、自由エネルギー、分配関数、Softmaxの原型である正準分布(カノニカル分布)といった理論体系が整備される。19世紀の後半のことだ。統計力学は、20世紀の量子力学を準備する。

エントロピー概念の次の飛躍は、20世紀の中頃のシャノン(写真)の「情報理論」の登場による。

シャノンは、熱力学とは全く独立に、情報量の概念を発見するのだが、その概念にエントロピーという名前をつけることを勧めたのは、フォン・ノイマンだと言われている。

「あなたは、それをエントロピーと呼ぶべきだ。二つの理由がある。第一に、あなたの不確実さの関数は、統計力学では、その名前で使われてきた。だから、それにはすでに名前がある。第二に、もっと大事なことだが、誰もエントロピーが実際に何なのかを知ってはいない。だから、論争では、あなたは常に優位に立てる。」

フォン・ノイマンは、コンピュータの世界でも大きな仕事をした天才だが、ちょっと変な人だ(先の二番目の理由も、ちょっと変だ)。

キューブリックの映画「博士の異常な愛情」(原題は、『博士の異常な愛情 または私は如何にして心配するのを止めて水爆を愛するようになったか』)の主人公のマッド・サイエンティストのモデルは、フォン・ノイマンだとも言われている。https://goo.gl/BHR4Pm

フォン・ノイマンは、エントロピーに関しても、大きな仕事をしている。
  S = - Tr (ρ log ρ )
ここで、ρは密度行列、TrはそのTrace(行列の対角成分の和)。これを、フォン・ノイマンのエントロピーと呼ぶ。量子力学的なエントロピーの最初の定式化である。

エントロピー概念の次の飛躍は、1970年代に起きる。ベッケンシュタインが、ブラックホールがエントロピーを持ち、その大きさは、ブラックホールの地平面の面積に比例することを予想する。

時代はだいぶ飛ぶが、その次の飛躍を準備したのは、二人の日本人科学者 高柳 匡と笠 真生による、エンタングルメントのエントロピーの定式化である。2006年のことだ。

現在、物理学は、大きな変革期にあるのだが、そこでは、エンタングルメントとエントロピーと情報の理論が、中心的な役割を果たしているように見える。

21世紀のコンピュータ技術は、こうした基礎理論の急速な発展から、直接の影響を受けることになるのは、確実だと思われる。


コメント
石橋 延弘 難しいです。
量子(コンピュータ)とエントロピーって関係あるんですか。
(すみません、子供にもどってます)
丸山 不二夫 そうですね。

次の次のマルレクで取り上げるとしても、「IT技術者のための情報理論入門」とか、「ディープラーニングとエントロピー」といったものから始めるのがいいのかと。
...もっと見る
Hirotaka Yoshioka エントロピーについて基礎を学びたいです。
田代 正純 湯川秀樹が小林秀雄との対談で、”エントロピーは人間的原理”といってますね!
丸山 不二夫 どういう意味なんでしょうね。
時代的には、ベッケンシュタイン以前ですね。
田代 正純 是非ご一読されて、解説して下さい!
川田 大輔 通信屋はシャノン先生から入るとすんなり理解できるはず。(サンプル数1)
山下 克司 ある熱的基準状態から可逆的な変化をした時に過程によらず決まる変化後の平衡状態を表す物質状態固有な値。単位は熱容量と同じJ/K=ジュール・パー・ケルビン。Cluusiusの不等式によって状態変化のエントロピーは必ず増大することがわかっていることから永久機関が存在しないことを表している。(原島鮮 基礎物理学 I 1967)
というところから、どうやって情報科学に持ち込まれているのか知りたい。
いいね!他のリアクションを見る
返信
2
6月29日 9:20編集済み
丸山 不二夫 科学史的には、「熱」をどう理解するのかは、大きな問題だったんです。19世紀までは、熱は「熱素(カロリック)」によって担われるという学説が支配的でした。原子論が定着する以前の話です。カルノー・サイクルは、熱素説とは矛盾しません。https://ja.wikipedia.org/.../%E3%82%AB%E3%83%AD%E3%83%AA...

大きな転換は、19世紀末のボルツマンの理論の登場です。彼は、クラジウスが熱機関のマクロな量として発見したエントロピーを、原子論の立場から基礎づけました。
...もっと見る
カロリック説(カロリックせつ、英: caloric theory [kəˈlɔ(ː)rɪk -]、仏: théorie du…
JA.WIKIPEDIA.ORG
いいね!他のリアクションを見る
返信プレビューを削除
5
6月29日 10:15編集済み
丸山 不二夫 「情報の世界の人、熱力学いらない」と書いたのですが、言い過ぎだったかも。

「アルゴリズム的熱力学」という分野もあります。https://arxiv.org/pdf/1010.2067.pdf


これは、とても面白い論文です。

プログラムの実行時間の対数を、熱力学的な容器のエネルギーEに、
プログラムの長さを、容器の体積Vに、
プログラムの出力を、容器中の原子の数に、対応づけると、熱力学とパラレルに、アルゴリズムの熱力学が展開できると言うものです。

そこで、あらためて「アルゴリズム的エントロピー」を定義します。
ここでは、アルゴリズム的なカルノーサイクルの考察も行われています。



コメント

このブログの人気の投稿

TPU論文の翻訳(1)

可微分ニューラルコンピュータとは何か(1) 概論

TensorFlow Foldについて