Abstract
要約
PSRAは迅速なアプローチで特定シナリオの潜在的なリスクを特定し、評価し、提案する。
FTMは人間よりも短い時間で情報を要約できる。
FTMは7人の専門家と比較して成功を証明し、PSRAにおけるエラー削減やセキュリティリスク検出の迅速化に貢献。
方法論
研究目的と質問、データ収集手法が記載されている。
結果
LLMがPSRAを実行可能であり、FTMが人間専門家を上回ることが示された。
議論
GPLLMはFTMに比べて性能が低かったが、小規模データセットでのファインチューニングは効果的だった。
Stats
FTMはGPLLMに比べて全ての精度メトリックで優れていた。
FTMは7人の専門家中6人を上回っていた。
Quotes
"FTM can effectively perform PSRA."
"FTM can outperform human experts in PSRA."