情報の実用論に向けて

Core Concepts

情報が意味を伝える量を定義する初めての厳密な方法を提供する。

Abstract

情報理論は意味の伝達量について何も述べない。 「実用情報」は意思決定に使用されるために意味を持つ情報量である。 単一メッセージの実用情報は、事前確率分布と更新後確率分布のKullbach-Leiblerダイバージェンスで定義される。 メッセージアンサンブルの実用情報は、アンサンブルの個々のメッセージの期待値として定義される。 実用情報公式には非負性や独立した決定への加算性など多くの望ましい特性がある。

Stats

ˆp(w, T ) = w + 1 / T + 2. Laplace’s Rule of Succession: ˆp(w, T ) = w + 1 / T + 2. Definition of pragmatic information for a single message: D∆(pm||q) = Σ pi|m log(pi|m/qi).

Quotes

"Additivity of information for independent events is intuitively a fundamental requirement." - Kullbach (1974) "The pragmatic information conveyed by a single message is a maximum when ∆ treats it as a certainty." - Author "Φ∆(M; Ω) ≥ I(M; Ω), with equality if and only if p = q." - Theorem

Key Insights Distilled From

Towards a Theory of Pragmatic Information

by Edward D. We... at arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12324.pdf

Deeper Inquiries

市場効率仮説が全て利用可能なデータに含まれる実用的な情報量をゼロと主張することへの異議はありますか

この論文では、市場効率仮説に対して異議を唱える観点が示されています。一般的に、市場効率仮説は資産価格がすでに全ての利用可能な情報を反映しているという考え方です。しかし、本研究では「実用的情報」という概念を導入し、意思決定者がその情報をどのように活用するかに焦点を当てました。したがって、「実用的情報」は単純なデータや事実だけでなく、それらが意思決定プロセスや行動変化にどれだけ影響を与えるかも考慮します。 従って、「実用的情報」の観点から見ると、あらゆるデータや情報源は無条件でゼロではなく、その有益性や重要性は意思決定者自身の能力や計算リソースに依存する可能性があります。つまり、市場参加者間での計算能力や処理速度の違いによって同じデータでも異なる「実用的情報」量が生じ得ることを示唆しています。

計算能力が意思決定者が使用する実用的な情報にどのように影響するかを考慮した研究方向はありますか

この論文では、「計算能力」という要素が重要視されており、特定メッセージから得られた「実用的情報」量はそのメッセージ自体だけでなく受信側（意思決定者）の計算リソースや処理能力も考慮されます。将来の研究方向として、「プラグマティックコンピューテーショナルキャパシティ」と呼ばれる新たな枠組みを探求することが提案されています。 これは通常のノイズ符号化理論（Shannon理論）で言及されたチャネル容量制限と同等性質です。「プラグマティックコンピューテーショナルキャパシティ」というアイデアでは、“受信側”（または意思決定者）自体も一種類以上あらゆるメッセージから最大限利益/有益さ/予測精度等々何かしら学び取ったり分析・判断・推測出来そう／出来そう／出来そうしない程度までしか知識生成・更新作業進められず止まっちゃった時点以降追加“プラグマティックインフォメーション”増殖不可 これ以上伝送不可

Shannon理論で示されたノイズ符号化定理に相当する「実用的チャネル容量」が存在しない理由は何ですか

上記回答でも触れました通り、「pragmatic channel capacity」相当物存在しない主因原因原則上任何訊息或是數據只要被接收到就會轉換成富含信息，即使某個消息具有非常小或幾乎沒有先驗機能，其Kullbach-Leibler divergence值也可以無限增長，這將阻礙建立類似於傳統通信領域能中所描述之固有容量界限。 此外，在現代社會中，人工智能和高效處理技術已經變得越來越普及並發展迅速，這些技術在處理龐大數據和信息時表現出色；然而，在該框架下，“pragmatic computational capacity”的設置更合適且更具挑戰性，并且可以引起更多關於信息處裡和决策制造过程中计算资源如何发挥作为关键角色问题进行深入探讨。