以條件風險值與貝氏適應性馬可夫決策過程，模擬風險敏感型探索行為中的個體差異：拿你的尾巴冒險

核心概念

本研究使用貝氏適應性馬可夫決策過程模型，結合危害函數先驗信念和條件風險值，解釋了老鼠在探索新奇物體時表現出的個體差異性風險敏感行為，並揭示了探索行為、風險規避和潛在精神疾病之間的關聯。

摘要

書目資訊

Akiti, C., Lee, A. T., Paz, R., Peciña, S., & Rangel, A. (2022). Tail of the striatum controls risk assessment and exploratory approach behaviors. Neuron, 110(18), 2952-2964.e7. https://doi.org/10.1016/j.neuron.2022.07.014

研究目標

本研究旨在探討老鼠在面對新奇物體時，如何評估潛在風險與獎勵，並展現出不同的探索行為模式。

研究方法

研究人員設計了一個開放場域實驗，將老鼠暴露於一個新奇物體中，並記錄其行為軌跡、接近物體的姿態（尾巴藏起或露出）以及停留時間等數據。接著，他們建立了一個貝氏適應性馬可夫決策過程（BAMDP）模型，結合了危害函數先驗信念和條件風險值（CVaR）兩種風險敏感度指標，模擬老鼠的探索行為。

主要發現

• 老鼠的探索行為可以分為三種類型：勇敢型、中等型和膽小型。
• 勇敢型老鼠表現出較高的風險承受能力，願意花費更多時間探索新奇物體，並更快地從謹慎的尾巴藏起姿態轉變為自信的尾巴露出姿態。
• 膽小型老鼠則表現出較高的風險規避行為，傾向於遠離新奇物體，並長時間保持尾巴藏起的姿態。
• 模型分析顯示，老鼠的探索行為受到危害函數先驗信念和條件風險值的影響。勇敢型老鼠傾向於認為新奇物體的潛在危害較低，而膽小型老鼠則相反。

主要結論

• 老鼠在探索新奇環境時，會根據其先前的經驗和風險偏好，展現出不同的探索行為模式。
• 危害函數先驗信念和條件風險值是影響老鼠探索行為的兩個重要因素。
• 該模型為理解動物和人類的風險敏感型探索行為提供了一個新的理論框架。

研究意義

本研究揭示了老鼠探索行為背後的計算機制，並將其與風險敏感度和潛在的精神疾病（如焦慮和抑鬱）聯繫起來，為理解和治療這些疾病提供了新的思路。

研究限制與未來方向

• 模型簡化了老鼠的行為狀態，未來研究可以考慮更精細的行為分類。
• 實驗環境相對單純，未來研究可以探討更複雜環境下的探索行為。
• 模型無法完全區分危害函數先驗信念和條件風險值的影響，未來研究需要設計更精確的實驗來區分這兩個因素。

統計資料

研究人員分析了 26 隻老鼠的探索行為數據。
根據老鼠的探索行為模式，將其分為三種類型：勇敢型（12 隻）、中等型（5 隻）和膽小型（9 隻）。
模型使用了 6 個參數來描述危害函數先驗信念，1 個參數來描述條件風險值，以及 2 個參數來描述探索獎勵池。

引述

"Novelty is a double-edged sword for agents and animals alike: they might benefit from untapped resources or face unexpected costs or dangers such as predation."
"Excessive novelty seeking and excessive novelty avoidance can both be maladaptive – they are flip sides of a disturbed balance."
"Explaining risk-sensitive exploration using factorized parameters of reinforcement learning models could aid in the understanding, diagnosis, and treatment of psychiatric abnormalities in humans and other animals."

從以下內容提煉的關鍵洞見

Risking your Tail: Modeling Individual Differences in Risk-sensitive Exploration using Bayes Adaptive Markov Decision Processes

by Shen,T., Day... 於 www.biorxiv.org 01-08-2024

https://www.biorxiv.org/content/10.1101/2024.01.07.574574v4

深入探究

模型如何應用於解釋人類在面對新奇環境或挑戰時的行為差異？

這個模型提供了一個框架，可以用於理解人類在面對新奇環境或挑戰時所表現出的行為差異。模型的核心概念是，人們在探索未知事物時，會在潛在的獎勵和威脅之間進行權衡。這種權衡受到以下幾個關鍵因素的影響：

對威脅的先驗信念（Hazard Priors）: 有些人天生就比較悲觀，傾向於高估新環境或挑戰中的潛在風險。這可能源於他們過去的負面經歷，也可能與性格特質有關。
風險敏感度（Risk Sensitivity）: 即使人們對威脅有相似的先驗信念，他們對風險的承受能力也可能不同。有些人更願意冒險以獲取潛在的獎勵，而另一些人則更願意選擇安全的選項，即使這意味著錯失機會。
探索獎勵（Exploration Bonus）: 人們對新奇事物的探索慾望也存在個體差異。有些人天生就對未知充滿好奇，而另一些人則更喜歡熟悉的事物。
遺忘率（Forgetting Rate）: 人們對過去經驗的記憶會隨著時間推移而衰減。遺忘率越高，人們就越容易受到當下環境的影響，而較少受到過去經驗的影響。
根據這個模型，我們可以將人類在面對新奇環境或挑戰時的行為差異歸因於這些因素的不同組合。例如，一個具有高度風險敏感度和悲觀威脅先驗信念的人，可能會表現出猶豫、焦慮，並且不願意嘗試新事物。相反，一個具有較低風險敏感度和樂觀威脅先驗信念的人，則可能表現得更加自信、積極，並且更願意探索未知。
此外，這個模型還可以應用於解釋一些心理疾病，例如焦慮症和抑鬱症。這些疾病的患者往往表現出過度的風險迴避行為，這可能是由於他們對威脅的先驗信念過於悲觀，或者他們的風險敏感度過高。
總之，這個模型提供了一個有價值的框架，可以用於理解人類在面對新奇環境或挑戰時的行為差異。通過研究影響人們探索行為的關鍵因素，我們可以更好地預測和解釋人類行為，並開發出更有效的干預措施來幫助人們克服恐懼和焦慮，更積極地應對挑戰。

如果將新奇物體替換成具有實際獎勵或懲罰的刺激，老鼠的探索行為是否會發生改變？

如果將新奇物體替換成具有實際獎勵或懲罰的刺激，老鼠的探索行為預計會發生顯著變化。
獎勵刺激:

探索行為的增強: 老鼠會更積極地探索與獎勵相關的刺激。
自信探索的加速: 老鼠會更快地從謹慎的探索模式（例如，"tail-behind"）轉變為自信的探索模式（例如，"tail-exposed"）。
持續的探索行為: 即使在獲得獎勵後，老鼠也可能會繼續探索，以期獲得更多獎勵。
懲罰刺激:

探索行為的抑制: 老鼠會盡量避免與懲罰相關的刺激。
謹慎探索的延長: 老鼠可能會在更長時間內保持謹慎的探索模式，並且不願意轉變為自信的探索模式。
探索行為的消退: 在經歷多次懲罰後，老鼠可能會完全停止探索。
具體的行為變化取決於多個因素，包括：

獎勵或懲罰的強度: 強度越大，對探索行為的影響就越大。
獎勵或懲罰的概率: 概率越高，對探索行為的影響就越大。
老鼠的個體差異: 例如，風險敏感度和先驗信念。
研究實際獎勵或懲罰對老鼠探索行為的影響，可以幫助我們：

驗證模型的預測能力: 觀察老鼠的行為是否與模型的預測一致。
深入理解探索行為的神經機制: 例如，獎勵和懲罰如何影響大腦中與探索相關的區域的活動。
開發更有效的行為干預措施: 例如，利用獎勵機制來促進探索行為，或利用懲罰機制來抑制危險行為。

藝術創作和科學探索是否可以被視為一種風險敏感型探索行為，其背後的驅動力和影響因素是什麼？

藝術創作和科學探索的確可以被視為一種風險敏感型探索行為。
將藝術創作和科學探索視為風險敏感型探索行為的原因：

未知的結果: 藝術家和科學家在開始創作或研究時，往往無法預測最終的結果，成功與失敗的可能性都存在。
資源的投入: 藝術創作和科學探索都需要投入大量的时间、精力和資源，而這些投入不一定能得到回報。
社會評價的壓力: 藝術家和科學家的作品和研究成果會受到社會評價的影響，而這些評價可能是正面的，也可能是負面的。
驅動藝術創作和科學探索的因素：

好奇心和求知慾: 對未知世界的好奇心和對知識的渴望是驅動藝術家和科學家不斷探索的根本動力。
自我表達和創新: 藝術家通過創作來表達自我，科學家則通過研究來探索新的知識和解決問題，兩者都追求創新和突破。
社會影響力: 藝術家和科學家都希望自己的作品和研究成果能夠對社會產生積極的影響。
影響藝術創作和科學探索的因素：

個人特質: 例如，風險偏好、創造力、毅力等。
社會環境: 例如，文化氛圍、社會支持、資源 доступ等。
歷史背景: 例如，時代精神、科學技術發展水平等。
風險敏感度在藝術創作和科學探索中的體現：

選擇題材和方向: 藝術家和科學家在選擇創作題材和研究方向時，會考慮到潛在的風險和收益。
探索的深度和廣度: 風險偏好程度會影響藝術家和科學家探索的深度和廣度。
作品和成果的呈現方式: 藝術家和科學家會根據社會評價的風險來選擇如何呈現自己的作品和研究成果。
總結:
藝術創作和科學探索都是人類探索未知領域的重要方式，它們都具有風險敏感型探索行為的特點。理解驅動和影響這些行為的因素，有助於我們更好地促進藝術和科學的發展。