予測計画と事実学習に関する積極的推論

Основные понятия

人工知能の急速な進化に伴い、行動の基盤を理解することがますます重要になっています。本稿では、積極的推論における2つの意思決定スキームを検討し、それらを組み合わせたハイブリッドモデルがバランスの取れた意思決定を可能にすることを示しています。

Аннотация

• 要約

  • 人工知能の進歩により、行動の基盤を理解することが重要性を増している。
  • 積極的推論は行動の一般理論と見なされ、計画と経験から学ぶ2つの意思決定スキームを提供する。
  • ハイブリッドモデルはこれら2つのスキームをバランスよく組み合わせており、適応性が求められる環境で優れたパフォーマンスを発揮する。

• 方法

  • 積極的推論におけるエージェント-環境ループ
    • エージェントは外部世界の予測ダイナミクスと将来観察値を予測できるようになっている。
    • 部分観測マルコフ決定過程（POMDP）ベースの生成モデルが使用されている。

• 意思決定スキーム

  • DPEFE（Dynamic programming in expected free energy）：計画に基づく手法
  • CL（Counterfactual learning）：経験から学ぶ手法

• 結果

  • Cart Pole-v1環境でCLメソッドエージェントが他のアクティブ推論スキームよりも優れたパフォーマンスを示す。
  • 複雑な迷路タスクではDPEFEエージェントが効率的なナビゲーションを実現し、CLメソッドエージェントはより多くのデータを必要とする。

• 深堀り

  • ハイブリッドモデルがどのように異なる環境でパフォーマンスするか？
  • 積極的推論フレームワークはどのように生物学的知能やニューロサイエンスへ貢献できるか？

Статистика

エージェントは外部世界の予測ダイナミクスと将来観察値を予測できる。
部分観測マルコフ決定過程（POMDP）ベースの生成モデルが使用されている。

Цитаты

"Active inference, regarded as a general theory of behaviour, offers a principled approach to probing the basis of sophistication in planning and decision-making."
"Given this general foundation, active inference offers excellent flexibility in defining the generative model structure for a given problem."

Ключевые выводы из

On Predictive planning and counterfactual learning in active inference

by Aswin Paul,T... в arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12417.pdf

Дополнительные вопросы

どうして積極的推論フレームワークは他の現代的手法と比べて異なるアプローチですか？

積極的推論フレームワークは、他の現代的手法（例：強化学習）と比べて異なるアプローチを取っています。これは、積極的推論がエージェントが環境から得られるフィードバックに基づいて行動を決定する一般理論であるためです。この枠組みでは、エージェントは生存を確保するために将来の結果を予測し、意思決定を最適化します。
一方で、従来の方法（例：強化学習）では報酬最大化が中心となります。つまり、エージェントは与えられた不確実な環境で報酬を最大化しようとします。これに対して積極的推論では、「モデル証拠」を累積・最大化することが重要視されます。また、積極的推論では「変分自由エネルギー」という概念を用いて不確実性や予期せぬ出来事に対処します。
さらに、積極的推論は神経科学上も生物学上も妥当性が高い枠組みであり、計画や意思決定の洗練されたメカニズムを提供します。その柔軟性や説明可能性からも注目されており、知能行動の基盤探求に貢献しています。