Core Concepts
ポートフォリオ最適化タスクにおける配分制約を効果的に扱うため、制約付きアクション空間をいくつかの無制約なサブアクション空間に分解する新しいアプローチを提案する。
Abstract
本論文では、ポートフォリオ最適化タスクにおける配分制約を効果的に扱うための新しいアプローチを提案している。
ポートフォリオ最適化タスクでは、投資家が特定の資産グループに最小限または最大限の投資を行うよう制約を設ける必要がある。
従来の制約付き強化学習(CRL)アプローチでは、制約違反を避けるのが困難であったり、最適な結果が得られないという課題があった。
本手法では、制約付きアクション空間を無制約なサブアクション空間に分解することで、標準的な強化学習アルゴリズムを適用できるようにする。
具体的には、2つの配分制約を持つ場合、4つのサブアクション空間に分解し、それらを重み付きミンコフスキー和で組み合わせることで、元の制約付きアクション空間と等価な表現を得る。
提案手法CAOSD(Constrained Allocation Optimization with Simplex Decomposition)は、トランスフォーマーベースの状態エンコーダと自己回帰的なポリシー関数を用いて実装される。
実験では、NASDAQ-100指数のデータを用いたポートフォリオ最適化タスクで、提案手法が従来のCRLアプローチを大幅に上回る性能を示した。
Stats
投資対象資産数は13(キャッシュ含む)
投資期間は12ヶ月
1つ目の配分制約は、2つの資産に最低23%投資する必要がある
2つ目の配分制約は、3つの資産に最低32%投資する必要がある
Quotes
"ポートフォリオ最適化タスクでは、投資家が特定の資産グループに最小限または最大限の投資を行うよう制約を設ける必要がある。"
"従来のCRLアプローチでは、制約違反を避けるのが困難であったり、最適な結果が得られないという課題があった。"
"本手法では、制約付きアクション空間を無制約なサブアクション空間に分解することで、標準的な強化学習アルゴリズムを適用できるようにする。"