投稿

9月, 2017の投稿を表示しています

角川講座終わる

イメージ
昨日の角川さんでのボイス・アシスタントについての講演の様子です。 講演を引きうけてからの準備期間が短く、直前でのマシン・トラブルで大変でしたが、新しい発見もあり(例えば、 https://goo.gl/K3Y3zY )、自分では、いいコンテンツができたと思っています。 遠藤さん、渥美さん、お世話になりました。


マシン落ちる

一時半過ぎに、突然、音もなく僕のMac Book Airが、落ちました。電源が、入りません。 太陽のせいかしら?  (性悪の、電源コードのせいかもしれませんが。) 皆さん、つつがなく、お過ごしですか? 諸般の事情で、ふて寝しようかと、思案していたところなのですが、目がさめました。

個人と社会の時計を同期する二つの方法

夜でも昼でも、寝たり起きたり、起きたり寝たりして仕事をすることがある。これで、二日で三日分ぐらいの仕事ができる。 はずなのだが。 弱点は、日にちの観念が、ちと、弱くなること。その上、僕の不規則な生活に合わせて仕事があるわけではない。 主観的には、n日でm+1日分の仕事をしたつもりでも、実際には、n日でm日分の仕事しかしていないことはある。nやmが大きければ、1日程度は、誤差の範囲。 はずなのだが。 予定が近づいてくると、1日の誤差は大きい。 どうも、どっちかの時計が狂っているぞ。僕のつたない計算では、予定が半日ほど、僕の時計より早いじゃないか。困るじゃないか。講演、朝3時からにできればいいのだけど。 僕の時計と、明石の標準時を、確実に合わせるには、二つ方法がある。 一つは、二つの時計が同期するまで、寝ないで起きていること。寝ないで起きているのは、得意だ。 もう一つの方法は、時計が合うまで、ずっと寝ていることだ。寝るのも得意だ。ふて寝ともいう。

ボイス・アシスタント アプライアンス

イメージ
ボイス・アシスタント・デバイスを、一つも持っていない僕に、 渥美 さんが、Google Home, LINE WAVE, Echo, Echo Show をかついで、持ってきてくれた。ありがたい。 実は、実物を見るのは初めて。そんなんで、よく、ボイス・アシスタントの話ができるものだ。(さわっていれば、よくわかるというわけではない。) "Hey Google", "Alexa", "Jessica" の声が交差する。 思ったんだけど、どうして外国人の名前で呼びかけなければいけないんだろう? (日本に入ってきたとして) 「ねー、ドラえもん」とか「へいへいほー」とか「こら、与作」でも、いいと思うのだが。

Alexa Intent Signature

イメージ
ちょうど一年前のマルレクで「パーソナル・アシスタント・システム」を取り上げ、当時のMS Cortana, Amazon Alexa, IBM Watson Dialogについては、結構、詳しく調べた。 今度、角川の 遠藤さんからリクエストがあって、ボイス・アシスタントの話をするので、いろいろ調べ直しているのだが、この一年の間に、Alexaのフレームが「進化」しているのがわかって面白い。 一年前のAlexaは、基本はVoiceCommandで、Speech2Textを直接呼ぶ必要はないものの、多数の発話のサンプルを一つのIntentに束ねるという素朴なIntent Modelだった。それはそれでいいのだが、例えば「日付」の発話を理解させるためにSample Utteranceに、DateIntentとして"January First"から"December Thirty-First"まで365日全てが記述されていて、こりゃ大変だと驚きあきれた。 Alexaの次の「進化」は、Intentの引数としてSlotを導入したことだ。Slotは、引数であると同時に型を持つ「変数」でもある。もしその型が事前に定義されたものなら、そのUtteranceを全て書く必要はない。先の例だと 、Utteranceのサンプルの文字列に{AMAZON.Date}を埋め込めばいい。Alexaの開発環境である"Alexa Skill Kit"は、こうした世界。これぐらいは、僕も知っていた。 こうした、Intent / Entity Modelは、現在のボイス・アシスタント技術で広く共有されている。(ただ、Google Assistant は、会話がカスタマイズ可能か微妙なので、ちょっと違いそうだ。それについては、別の機会に。) ただ、僕が感心したのは、Alexaの新しい開発環境である "Alexa Skill Builder (beta)" で導入された Intent Signature Syntaxである。"Understanding the Structure of the Built-in Intent Library" https://goo.gl/ebKVxg   AMAZON.Sear…

マルレク・ネット「人工知能の歴史を振り返る」配信開始

イメージ
7月31日、富士通さんで行われたマルレク「人工知能の歴史を振り返る」のネット配信が始まりました。ご利用ください。https://crash.academy/class/139/ 有料です。1,000円です。今回から、マルレク本体と同じ値付けになっています。ご了承ください。 10個のコースに分割されていますので、見やすいと思います。とても長い、当日の講演資料は、以下から、ダウンロードできます。 https://goo.gl/JBxu8o    ---------------------------------
   マルレク・ネット ビデオ・コンテンツ 
   ---------------------------------  「人工知能の歴史を振り返る」
https://crash.academy/class/139/
 「ニューラル・コンピューターとは何か?」
https://crash.academy/class/101/
 「Google ニューラル機械翻訳」
https://crash.academy/class/76/
 「RNNとLSTMの基礎」
https://crash.academy/class/66/

Googleの逆襲

イメージ
9月1日から一般公開が始まった、ベルリンで行われているIFA(国際コンシューマー・エレクトロニクス展)で、ボイス・インターフェース系が熱いようだ。 1月のCESでは、echo / Alexa が隠れた主役と言っていい大人気だったのだが、9月のIFAでは、Googleが大逆襲。多くのメーカーが、Google Assistant 搭載の「Smart Speaker」を出品したようだ。 SONYやPanasonicも、Google陣営に。あと、スピーカーのJBLや、バッテリーのAnkerも、Google Assistant だって。https://goo.gl/mwzexD やっぱり、ジェフ・ベソスが予告してたように、「戦争」が、始まるんだね。http://goo.gl/rR5BqP 戦争は嫌いだけど、あっちの戦争より、こっちの戦争の方が、マシかも。

文の複雑さについて

アルファベット(小文字)は、'a'から'z'まで26文字である。"monkey"は6文字だ。 もしも猿が26キーのタイプライターを6回適当に叩いたとする。この時、猿がうちだすことが可能な文字列の総数は、26の6乗で、308,915,776になる。9桁の数字で3億ちょっとである。 宝くじの番号は、75組 159149番(これが今年の5億円のあたりの番号)のように8桁なので、タイプライター猿が、"monkey"と打ち出すのは、サマージャンボで5億円当てるより、30倍ほど難しいことがわかる。 それでも、誰かには5億円が当たるように、もしも、猿のタイプライターが3億匹いれば、そのうちの一匹は、"monkey"と打ち出す可能性は高いのだ。 ところで、英語の単語は、何個あるのだろう? 先に、"monkey"の例で、6文字のアルファベットの数は、約3億 3 x 10^9 個あることがわかったので、12文字のアルファベットの並びの数は、約9 x 10^18、だいたい10の19乗ほどあることがわかる。随分大きな数だが、その全てが、意味のある単語にはなっていない。というか大部分が、猿タイプライターが打ち出すような無意味な文字の並びである。 (興味がある人は、「一番長い英単語は?」でググって見てほしい。) ただ、「単語」ではなく「文章」を打ち出そうとすると、もっともっと大きな数が登場することになる。 無意味な綴りを乱発する猿のタイプライターは、クビにして、必ず意味のある単語を打ち出すが、単語の順序はデタラメであるタイプライター・フジオを雇うことにしよう。英語ではなく日本語で考えよう。文章を作るという点で、フジオは猿よりマシだろうか? 日本語の単語の数を10万としよう。 現実には、日本語の語彙の数は、もっと多い。
日本語の辞書の収録語彙数をあげておく。

 『日本国語大辞典』(小学館)  50万語
 『広辞苑』(第六版、岩波書店) 約24万語
 『岩波国語辞典』(第七版)   6万5000語 日本語で、10個の語からなる語の並びがどれくらいあるか数えてみよう。 10語文というのは、そんなに長い文章ではない。 古池1 や2 かわず3 とびこむ4 水5 の6 おと7
これが7語文。 この1 …

NTTグループの音声処理技術

Echo / Alexa の日本上陸直前なのだが、迎え撃つ日本勢の中で、僕はNTTグループの音声ソリューションの取り組みに注目している。https://goo.gl/XAHuWs 日本語でなら、speech2textもtext2speechも、日本製のプロダクトの方が、クオリティーが高いと思っているので。 事実、NTTグループは、2015年の国際音声認識コンテストで、いい成績をおさめている。「公共エリア雑音下でのモバイル音声認識の国際技術評価で、世界1位の精度を達成」NTT持ち株会社ニュースリリース https://goo.gl/7FQxD9 (2016年の結果はこちら。https://goo.gl/PE7GPb 三菱や日立の研究者も頑張っている。) NTT傘下のdocomoも、NTT研究所の技術をベースに、AI向けのAPIを、多数公開している。GoogleやMicrosoftのRecognition APIと比べて、音声系が多いのが一つの特徴かもしれない。これは、面白いことだ。音声認識APIのSDKは、https://goo.gl/iZuFqJ から、無料で簡単に入手できる。 これは、とてもいいことだと思う。スマホ(AndroidでもiOSでも)の開発者は、音声入出力を用いたアプリを簡単に作ることができるのだから。日本の開発者の活躍に期待したい。 音声認識の技術は、昔から、日本は進んでいたと思う。Googleの音声検索が登場した時、僕のまわりの人は、「技術では先行していたのに。」「技術で勝って、サービス化で負けた」と大いに悔しがっていた。(もっとも、検索技術については、全く負けていたのだが。) ただ、echo / alexa と「戦う」ためには(ジェフ・ベソスは、「戦争が迫っている」と言っているのだから。http://goo.gl/rR5BqP )、少し気になることもある。 一つは、提供されているサービスの粒度が、高機能だとしても、少し細かい。echo / alexa のプログラミングでは、speech2textもtext2speechのAPIも意識する必要はない。それは、ボイス・アシスタント・システムの「開発のしやすさ」に大きく影響する。開発は、簡単な方がいいのだ。 それは、どのサービスが音声サービスの中核なのかというビジネス上の課題の設定を避けていることに…

朽ち果てるものとサルのタイプライタ

イメージ
アマゾンの密林に新車のBMWを置き、500年もすれば、鉄の塊になる。さらに500年放置すれば、鉄サビの山ができるだろう。鉄の形は、時間とともに変わるのだが、いくら待っても、それが元の新車のBMWに戻ることはない。
逆の考え方もある。 チンパンジーにタイプライターを叩かせる。ずっとやっていれば、"monkey"という単語を打ち出す可能性はある。もっともっとやり続ければ、シェクスピアの作品を打ち出す可能性だってあるはずだ。 写真は、「人々から置き去りにされ、さび付き朽ち果てた戦車や戦闘機などの写真集」から。こういうの好きな人がいるようだ。http://gigazine.net/news/20110526_remains_of_war/ 「猿のタイピスト」については、日本語wikiの「無限の猿定理」https://goo.gl/3iM9V9 が、素晴らしいまとめになっている。是非、読んでほしい。僕は、ボルヘスの「完全な図書館」の話をしようと思っていたのだが、完全に負けた。特に、古代ギリシャの原子論に対する批判として、この議論が、すでにあったことは知らなかった。 どっちの見方が正しいのか? 実は、この矛盾する見方が、交わるところこそ、熱力学的なエントロピーと情報論的なエントロピーが交わるところになる。 9/28 マルレク「IT技術者のための情報理論入門 -- エントロピーと複雑さについて」https://goo.gl/DceUbG こんなのもやります。 9/12 「アマゾン“Echo & Alexa”上陸直前! Aiボイス・アシスタント3時間集中講座」https://goo.gl/UedvRf

スマホ買い換える

スマホ買い換える。 くじ引き大会の一等賞の商品で、ただでゲットしたものだが。バッテリーが膨張して、液晶パネルが浮き上がっていた。最近は、電池が三時間も持たなくなっていて、このところ、いつも充電用のバッテリーを持ち歩くことに。 それは普通かもしれないが、全日出歩く時には、電池切れが二度は起きるので、バッテリーも二個必要だった。その上、NEXUS だったので、お財布・スイカが使えず、スイカ用に古いスマホも持ち歩いていた。(スイカに使うだけなら、スマホに電源入れてなくてもいいことに、最近気づいた。) 本当は、新しいNEXUSがでるまで、これで我慢しようと思っていたのだが、心変わりをした。きっかけは「電子タバコ」。 タバコを吸おうと思ったら、充電切れで吸えないじゃないか。その時、スマホが電池切れでシャットダウンを始めた。僕は、迷わず、一個残っていたバッテリーを、電子タバコの充電に使った。貧すれば鈍する。こういう時に、本性が現れる。 タバコ用に、三個目のバッテリーが必要? もういやだ。 バッテリーが一日は持つ、スイカ付きのスマホにしよう。外で吸うタバコは、充電のいらない普通のものにしよう。 これで、だいぶ、身軽になれるはず。

9/12 角川さんで、Botのセミナーやります

イメージ
9/28マルレクの前に、もう一つセミナーの企画があります。角川さんの主催で、僕が話します。 お申し込みは、次のサイトから。
http://lab-kadokawa31.peatix.com/ ---------
テーマ
--------- 「アマゾン“Echo & Alexa”上陸直前!!
AIボイス・アシスタント3時間集中講座
-- 機械と人間のインターフェースの一大変化に備えよ --」 ---------
講演概要
--------- アメリカで大ヒットした Amazon(アマゾン)の Echo & Alexa の日本上陸を前に、日本市場でも、ボイス・アシスタンスをめぐる競争が本格化(日本国内では LINE がスマートスピーカー “WAVE” の正式販売を今秋開始予定など)しようとしています。 本講座では、IT技術者が Echo & Alexa, Google Assistant, Apple Siri といった AIボイス・アシスタント技術の登場をどのように捉えればいいのか、また、今後それらをどのように活用すべきかを実践的に考えることを目的としています。 まず、最初に確認すべきことは、機械と人間のインタフェースが、音声の利活用によって大きく変わろうとしていることです。この流れは、避けられないものです。それは、プログラミングのスタイルを大きく変えていくでしょう。音声インタフェースの利用は、IT技術者にとって必須のスキルの一つになっていくと考えられます。 AIボイス・アシスタントのシステムを支える、Speech2Text, Text2Speech という基礎技術は、現在の人工知能技術の中核であるディープラーニング技術によって大きく精度が向上しました。その意味では、AIボイス・アシスタンスシステムは、コンシューマーに最も近いところで展開されている、ディープラーニング技術の応用の一つだと考えることもできます。 ただ、現在のAIボイス・アシスタントシステムには、大きな課題があることも忘れてはなりません。それは。現在の技術で確実にできることが、音声を文字列に変換するところまでであるからです。こうした制限のもとで、本セミナーでは、AIボイス・アシスタントシステムの基本的な機能を3つのタイプに分けることを提案します。 さまざまな制約のもとでも、音声インタフェース…

電子たばこ買ってしまった!

イメージ
毎日、4~50本のタバコを吸っていて、「肺がん一直線上等!」みたいな生活を送っているのだが、昨日、セブンイレブンで、中南米系の売人じゃなかった店員の口車に乗せられて、電子タバコのキットを買ってしまった。 「電子タバコ入荷」という張り紙を見ていたら、その店員が、「お客さん、今日買わないと、これ、いつ入荷するかわからないよ」とささやく。「これ、アイコスじゃないよね」と僕。「アイコスじゃないよ」と彼。 僕の周りでも、電子タバコの「アイコス」を使う人が、やたら増えていて、その度、彼らに「軟弱者め」と憎まれ口を叩いていたので、いまさらアイコスにする訳にもいかないのだ。 先日、空港の喫煙所で、日本タバコ JT のコマーシャルを見ていたら、なんか格好いい電子タバコの宣伝をしていた。長い、スリムなやつ。こんなの。(写真にうつっているのは、僕ではありません) 「じゃ、ちょうだい」 家について、パッケージを開けて、ギャー。 入っていたのは、スリムじゃなくずんぐりむっくりなやつだった。子供なら、「これ、僕が、欲しいのとちがう」と、手足をバタバタさせて泣いただろう。そこは、健康意識高い系の大人である。泣くことはなかった。
まるで、小さな牛乳パックにストローをさして、チューチュー吸うようなスタイル。格好悪い。 調べると、今、出ている電子タバコは、3種類あることがわかった。フィリップ・モーリスの「アイコス」と、僕が欲しかった日本たばこの「プルーム・テック」と、僕が買ったずんぐりむっくりの「glo」、ケントの会社である。全くの調査不足。 USBで充電するバッテリーと、LEDのインジケーターがついている。きっとARMのチップと温度センサーと、ブルブル振動するモーターが入っている。ハイテクなんだな。 ハイテクは嫌いではないのだが、こいつと長く付き合えるのかなと、ARMチップの入っていない、ピース・インフィニティーに火をつけて、考えている。(20個のカートリッジ、全部、吸っちゃったし、近くに売ってそうもないしな。)

次回マルレクは、9月28日開催です

次回のマルレクを、9月28日 19:00から秋葉原のアキバホール(富士ソフト)で開催します。 テーマ: 「IT技術者のための情報理論入門 -- エントロピーと複雑さについて」 講演概要: ディープラーニングのプログラミングの中では、「クロス・エントロピー」や「SoftMax」といった関数がよく使われています。 実際には、それらの定義や意味を意識しなくても、ニューラル・ネットワークのモデル構築の「パターン」として理解しておけば、それらを利用することができてしまうのですが。 今回は、ディープラーニング技術を深く理解するために、このあたりから踏み込んで見たいと思います。 今回の講演では、ディープラーニングに限らず、少し広い視野から、エントロピーとは何か、情報とは何かという話ができればいいと思っています。情報に関わるIT技術者が、エントロピーと「情報理論」の初歩的な理解を持つことは、必要なことだと考えているからです。 ただ、それだけではありません。 近年、物理学を中心とした科学の世界で、エントロピーと情報理論への関心が急速に高まっています。それらは、機械学習への統計力学の応用の枠を超えた、もっと広くて深いものです。その中で、20世紀の量子論・相対論の成立に匹敵する大きな変化が進行中です。講演では、こうした動きについて、簡単なオーバービューを与えたいと考えています。 確かに、科学と技術は違うものです。物理学的な情報・エントロピーについての知見が、ITの世界で、明日の開発に役立つことはないかもしれません。ただ、これらの科学的知見が、量子コンピュータ等の未来のIT技術に大きな影響を与えることは、大いにありうることです。 みなさんの知的興味に、刺激を与えることができればと思っています。

花輪ばやし

イメージ
花輪ばやし。昨年、世界遺産に登録された。僕が行った時、町の人の話題の一つは、「明日は、壇蜜が来る」ということだった。みな、すごく楽しみにしていた。 後で聞いたら、祭りのコンテストで優勝したのは、もろ肌脱いだ女性たちのホットなパフォーマンスだったようだ。見たかった。動画は、僕が見た、小学生ぐらいの女の子の太鼓。とても楽しそう。
ところで、壇蜜主演の仙台・宮城観光PR動画が「炎上」して、配信中止になったらしい。今ならYoutubeでまだ見れる。https://goo.gl/x57tVz 「識者」のコメントはこちら。https://goo.gl/kbzMU4

フォン・ノイマンとエントロピー

イメージ
ボルツマンのエントロピーの式

 S = k log W

を見ると、あることに気づく。 Wは、ミクロな状態の「数」だというのだから、log W は、ある整数の対数を取ったもの。W=1の時、 log 1 = 0 だから S = 0となるが、次の値は、W=2の時で、S = k log 2。その次は、S = k log 3である。この式で表されるエントロピーの値は、決して任意の連続な値をとるわけではない。 現在の目から見れば、この式は、エントロピーの離散的で「量子論的」性質を表していると解釈できるのだが、ボルツマンの生きた19世紀には、量子論はまだなかった。量子論は、彼が、マッハらに攻撃された「原子論」の、自然な帰結なのだということも、よくわかる。 同時に、この時代には、エントロピーの離散的な解釈を与える、シャノンの情報理論も存在していない。不思議な関係式だ。 エントロピーの量子論的定式化を行ったのは、フォン・ノイマンである。もちろん、シャノンの登場のはるか以前である。驚くほどの慧眼である。 すでに、1932年の「量子力学の数学的基礎」の中で、次のようなエントロピーの定式化を与えている。

 S = - Tr ( ρ log ρ )

ここで、ρ は密度行列、Trは行列のTrace(対角要素の和をとったもの)である。この式の説明は、別の機会にゆずるが、ギブスの与えた密度関数 ρ を用いたエントロピーの式と、基本的には同じ形をしている。(ΣもTrも、和をとる演算である)

 S = - Σ ( ρ log ρ )

エントロピーの歴史の中で、フォン・ノイマンは、エントロピーの量子化だけでなく、もう一つの重要な「貢献」をしている。 1940年、それまでの熱力学的エントロピー概念の系譜とは全く独立にシャノンが発見した「不確実さの関数」=「情報量」の概念に、「エントロピー」という名前をつけることを勧めたのは、フォン・ノイマンだと言われている。https://goo.gl/Lkm98X 「あなたは、それをエントロピーと呼ぶべきだ。二つ理由がある。第一に、あなたの不確実さの関数は、統計力学の中では、その名前で利用されてきていて、既に名前があるのだから。第二に、もっと重要なことなのだが、誰もエントロピーが実際に何であるかを、実は知っていないのだ。だから、論争では、あなたはいつも有利な立場にいられる。」 …

東京に帰る

東京暑いじゃないか。35度。出発した息子がいる秋田が30度。彼女が向かう稚内が25度。なんか僕だけ、損した気分。我が家の夏の南北問題。

仔犬の「のの」

イメージ
今年は、母の新盆でもあり、高校まで暮らした秋田大館で、ゆっくり夏休みをとっていました。 明日から東京に帰ります。 写真は、仔犬時代の「のの」。
高校時代、「京都のマネの大文字焼きなんかやめて、犬文字焼きにすればいいのに」と毒づいていたのですが、今年の送り火は、「犬」の字になりました。




https://scontent-nrt1-1.xx.fbcdn.net/v/t1.0-9/21032586_10213264566466199_6459140815472346774_n.jpg?oh=db2ad83c40e5264602d88e39c2c7f2cf&oe=5A4BB934

ボルツマンと原子論

イメージ
以前の僕の投稿から。https://goo.gl/uERvY9

--------------------------------------- 
「ボルツマン・マシン」のことを書いたが、「マシン」に人の名前がつくのは、僕は他には、「チューリング・マシン」しか知らない。
19世紀のボルツマンと20世紀のチューリングには、これ以外にも共通点がある。(二人とも、傑出した天才であるという自明のことを除いて)それは、二人とも自殺していることである。
のちに「XXX マシン」と呼ばれる業績を残すかもしれない、まだ見ぬ21世紀のXXXが、そうならないことを祈ろう。
--------------------------------------- 

昨日紹介したサスキンドの発言は「悪い冗談」なのだが、ボルツマンの業績は、彼の生前には正当に評価されなかった。特に、当時の物理学会で大きな発言力を持っていたマッハとその取り巻きは、執拗にボルツマンの「原子論」を攻撃した。ボルツマンは、追い詰められ、次第に精神を病んでゆく。 古代ギリシャで原子論を提唱したデモクリトスの著作を、プラトンは、全部、焼かせたという。19世紀の物理学でも、「原子論」は「異端」の学説だったらしい。(日本でいえば、江戸時代にボルツマンは生まれ、明治維新の頃に論文を書いていると思っていい。) 写真は、Scott Aaronsonの本 "Quantum Computing Since Democritus" 「デモクリトス以来の量子コンピューティング」の表紙を飾るデモクリトス。
19世紀の物理学者の双璧は、ボルツマンとマックスウェルだと思うが、二人のアカデミーでの人生は、はっきりと明暗を分けている。 物理現象を、より基本的な要素の実在とその運動で説明しようというのは、現代物理学の基本的な態度である。ボルツマンらがその基礎を築いた統計力学の手法は、20世紀の量子力学を準備する。素粒子論というのは、現代の原子論に他ならない。 ただ、原子論が、科学の世界で広いコンセンサスを得るのは(化学の世界では、原子論は、早くから受け入れられていたようなのだが)、1905年の、アインシュタインの「ブラウン運動」についての論文以降だったという。 ボルツマンも、この20代の若者の論文を読んだと思うのだが。
翌1906年、彼は、自ら命を絶つ…

ボルツマン

イメージ
ボルツマンの墓には、彼が発見した、次のエントロピーの式が刻まれている。   S = k log W

ここで、Sはエントロピーで、kはボルツマンの定数、Wはミクロな状態の数である。 先に、なぜ、熱力学的には エネルギーを温度で割った単位を持つ量であるエントロピーが、情報の理論と結びつくのだろうかと書いたのだが、表面的には、理由は意外と簡単である。 このボルツマンの式は、エントロピーが、ミクロな状態の数の対数 log W に「比例」するという彼の偉大な発見を表しているのだが、情報の理論と結びつくのは、この log W の部分なのである。この部分は、単なる整数の対数なので、次元(単位のこと)は無い。 先の関係式で、「エネルギー 割る 温度」というエントロピーの単位(次元のこと)は、すべて、k というボルツマンの定数の中に閉じ込められている。 もしも、 k = 1 なら(実際、そういう表記をすることもある)

  S = log W

となって、エントロピーと E/T(Joul/Kelvin)という熱力学的単位との関係は、ほとんど見えなくなる。 その意味では、ボルツマンの定数k は、熱力学的エントロピーと情報論的エントロピーを結びつける、重要な役割を持つのである。 スタンフォードの物理学講義で、サスキンドは、こんな冗談を言っていた。 「ボルツマンは、彼の定数を、誰も覚えてくれないので、それを悲しんで、自殺したんだ。」

Aaaronsonのコメント

Scott Aaronsonが、短いコメントを出した。 「P≠NPの証明のこと、僕に聞くのはやめて。あの証明が、なりたっていない方に20万ドル賭けてもいい。 ... 今週末までに、反証されていなければ、僕を、心を閉ざした馬鹿者と呼んでいいよ。」 てんで、信じてないみたい。元気なので安心した。 To everyone who keeps asking me about the “new” P≠NP proof: I’d again bet $200,000 that the paper won’t stand, except that the last time I tried that, it didn’t achieve its purpose, which was to get people to stop asking me about it. So: please stop asking, and if the thing hasn’t been refuted by the end of the week, you can come back and tell me I was a closed-minded fool.

エントロピーと情報

イメージ
エントロピーという概念が、情報の概念と結びついていることは、IT技術者ならどこかで聞いたことはあるかもしれない。でも、それがどういう繋がりなのかを説明できる人は、少ないように思う。 ただ、それにはいくつかの理由がある。 一つの理由は、高校までの授業で「熱」や「温度」「仕事」「エネルギー」については教えられるのだが、「エントロピー」は教えられることはない(多分)からだと思う。高校卒業後、「熱力学」の講義を受ける人は、多分、少数派だ。 その上、ITの仕事についても、一部の人(例えば、通信関係の人)を除けば、プログラミングを始めても、情報量やエントロピーの概念が必要となることは、ほとんどないと言っていい。 ただ、そのままでいいかというと、本当は、よくないのではと、最近、僕はは思うようになっている。 自然を理解するのに、「エネルギー」と「エントロピー」は、二つのキー・コンセプトだと思うようになったからだ。といっても、子供達に「エントロピー」をどう教えればいいのか、具体的なプランがあるわけではないのだが。 ただ、状況は、少しずつ変化してきているのは事実だ。 以前の投稿でも書いたが、ディープラーニングでは、コスト関数に「クロス・エントロピー」が登場するし、クラス分けのSoftMax関数を理解するには、分配関数の知識があった方が見通しが良くなる。 また、セキュリティーの基礎としての「暗号化」の技術には、「ランダムネス」や「一方向関数」の概念が使われている。これらは、みな、エントロピーの議論と結びつく。 エントロピーと情報の概念が結びつきにくいのは、もう一つ大きな理由があるように思う。それは、エントロピーの概念が、歴史的に様々に変化してきたからだ。当初は、それは情報の概念とは、無関係だった。 Entropy という言葉は、19世紀半ば(1856年?)に、Clasiusによって名付けられた。それは、「熱」や「温度」「仕事」「エネルギー」といった量に関連づけられ、「熱力学」の中で生まれた概念であった。 Wattの最初の蒸気機関が完成したのは、1776年。熱力学の基礎を作ったCarnotの仕事は、1828年である。彼らの実践的関心は、産業革命を可能にした当時の最先端技術である「蒸気機関」の効率化に向けられていた。 彼らは、蒸気機関に熱として与えられる蒸気機関内部のエネルギーの全てが、…

P≠NP問題解けた?(2)

イメージ
P≠NP問題は、Nashが提起した計算の複雑性の階層についての代表的な問題の一つである。計算の複雑性の理論は、古典的には、1930年代のChurch-Turingの「計算可能性」の議論に起源を持つ。 1985年にDeutschは、その定式化を、量子コンピュータを含む全ての物理的な機械の計算可能性に拡大した。Church–Turing–Deutsch principle。ここでの議論は、現代の量子コンピュータの出発点になった。(アイデアは、Feynman が提供した。) 量子論的複雑性理論(Quantum complexity theory)は、古典的な計算複雑性の理論を、量子コンピュータと量子情報理論に拡大したもの。ここでは、古典的なP, NPに対応する量子計算可能性のクラス BQP, QMA が存在する。P≠NP問題の解決が自動的にBQP≠ QMA問題の解決を与えるものではない。(と思う) 量子論的複雑性理論の中心人物が、Scott Aaronsonである。(今日も、彼のblogは更新されていない。自分が追いかけてきた問題が、他の人に解決されるのを見るのは、悔しいのかもしれない。でも、コメントが欲しい。) ここ数年、量子Entanglementのエントロピーの研究が急速に進んで、物理学の中で複雑性理論への関心が高まっている。関心の中心になったのは、ブラックホールでの情報の在り方である。 何回かに分けて、そのことを説明したいと思う。
(マルレクでも、話ができればいいのだが。) 写真は、Raamsdonkの講演で、自分のシャツをアピールする物理学者 Susskind。やんちゃである。胸には、"I love Complexity" と書かれている。Mark van Raamsdonk "Gravity and Entanglement" https://goo.gl/jd9dc4

もう一つの写真は、ブラックホール内部での「情報」についてのHarlow-Haydenの驚くべき議論を紹介するScott Aaronson。"Computational complexity underpinnings of the Harlow-Hayden argument" https://goo.gl/EEr4JU

P≠NP問題 とけた?

イメージ
P≠NP問題を解いたという論文が出て、その界隈がちょっと騒がしくなっている。 Norbert Blum "A solution of the P versus NP problem" https://arxiv.org/pdf/1708.03486.pdf John Baezが、さっそく反応している。
"Norbert Blum on P versus NP" https://goo.gl/tPgg5C しばらく待って見たのだが、奇妙なことに、この分野の第一人者である Scott Aaaronson の反応は、まだ出ていない。(最新のblogは、Googleの解雇問題というか性差別の議論をしている。おいおい。) Blumの名前は、僕はAaronsonを通じて知っていた。彼の本、"Quantum Computing Since Democritus"にも出ている。(例えば、ここ。https://goo.gl/8yQi2g )この分野の専門家の一人だ。 僕にとっての問題は、このBlumの「証明」が正しいのか間違っているのか、さっぱりわからないこと。 先のblogで、John Baezは、こう書いている。 Most papers that claim to solve hard math problems are wrong: that’s why these problems are considered hard. But these papers can still be fun to look at, at least if they’re not obviously wrong. It’s fun to hope that maybe today humanity has found another beautiful grain of truth. こうした観点では、Vladimir Voevodskyの"Foundations of Mathematics and Homotopy Theory" という講演は面白い。https://goo.gl/tYphjB 多くの論文は間違っているし、正しいとしても、論文の査読者さえそれを理解できるとは限らない。だから論文は、機械でチェック…