核心概念
大規模言語モデルを活用し、概念に基づいたエージェントを設計することで、人工知能と人間が協調的に安全設計を行うことができる。
要約
本論文では、大規模言語モデル(LLM)を活用した人工知能と人間の協調的な安全設計フレームワークを提案している。
まず、システムモデルをグラフ表現の中間表現(IR)に変換し、LLMが理解しやすい形式にする。次に、カスケード型の意思決定レイヤーを持つカスタムLLMエージェントを設計する。このエージェントは、事前に定義された安全関連の概念に基づいて、タスクの種類を特定し、適切な外部ツールを呼び出して情報を検索・活用する。
具体的な実験では、自動運転システムのモデルを用いて、故障伝播の分析、クリティカルパスの特定、単一障害点の検出、ノードの複製などの安全設計タスクを実行し、LLMエージェントの有効性を示している。
本手法は、LLMの柔軟性と安全工学の厳密性を融合することで、人工知能と人間が協調的に安全設計を行うための基盤を提供する。
統計
故障が発生したコンポーネントには、IMU、Radar1、Radar2、SignalProcessorがある。
クリティカルパスには、Camera1、Camera2、CollisionAvoidance、GPS、IMU、ImageProcessor、Lidar1、Map、PathPlanner、PointCloudProcessor、SensorFusion、VehicleControllerが含まれる。
単一障害点となるコンポーネントは、PathPlanner、VehicleController、Map、SensorFusion、CollisionAvoidance、GPSである。
引用
「IMUが故障すると、正確な測定ができなくなり、車両の航行と制御に影響を及ぼす可能性がある。」
「レーダーが故障すると、物体の検知や追跡に誤りが生じ、システムの認知と意思決定に影響を及ぼす可能性がある。」
「SignalProcessorが故障すると、センサーデータの処理が不正確または不完全になり、システム全体のパフォーマンスと信頼性に影響を及ぼす可能性がある。」