大規模言語モデルのコードにおけるトロイの署名について

Core Concepts

大規模言語モデルのコードにおける重要なトロイの署名を検出することは困難である。

Abstract

この論文では、大規模言語モデル（LLMs）のコードにおけるトロイの署名を検出する試みが行われました。従来の画像モデルから得られた結果と異なり、コードモデルではトロイのクラス間で明確な側方シフトが見られませんでした。これは、コードモデルがより多くの重みパラメータに分散されているため、トロイの影響がより隠されている可能性があることを示唆しています。また、コードトリガーは非常に巧妙であり、重みにほとんど影響を与えず、非常に少量の変更だけで学習することができます。これらの事実と研究結果は、重み解析によってこのようなトロイされたコードモデルを検出する問題が困難であることを示しています。

Stats

Fields et al. [1] は画像モデルから得られた結果と異なり、コードモデルでは明確な側方シフトが見られませんでした。
コードモデルは画像モデルよりも多くの重みパラメータに分散されている可能性がある。
コードトリガーは非常に巧妙であり、重みにほとんど影響を与えず、非常に少量の変更だけで学習することができます。

Quotes

"Given these models also have attack success rates above 60%, as shown in Table 2, intuitively the effect of trojaning is expected to be more pronounced in the final layer of the model."
"Both ONION and OSeql are black-box techniques (no internal model information, e.g., parameter weights, are used) that require multiple inference calls to the model."
"Our results suggest that trojan signature seems to not be applicable to these tasks, and perhaps LLMs of code are very stubborn in revealing trojan signatures solely from their weights."

Key Insights Distilled From

On Trojan Signatures in Large Language Models of Code

by Aftab Hussai... at arxiv.org 03-08-2024

https://arxiv.org/pdf/2402.16896.pdf

Deeper Inquiries

何故画像モデルから得られた結果と異なり、コードモデルでは明確な側方シフトが見られなかったのか？

研究によると、コードモデルでのTrojan Signature Detection（TSD）技術を適用した際に側方シフトが観察されなかった理由は複数考えられます。まず、コードモデルは画像モデルよりもはるかに大きく、前回の研究で使用されたInception-v3やDenseNet-121などの小さなアーキテクチャと比較しています。このことが、Trojan（後述）の影響が重みパラメーター全体に広く分散しているため、コードモデル内でより隠されている可能性があります。
また、別の要因としては、Fields氏らの先行研究で使用されたトリガー（例：画像フィルター）と異なり、コードトリガーは非常に巧妙であり、「assert文」や「変数名」といった非常に目立ちにくいトリガーでも成功裏にLLMを誤誘導することが示唆されています。つまり、これらの巧妙なトリガーは重みへほんのわずかな変更しか必要とせず、Trojaned Class（悪意あるクラス）およびNon-Trojaned Class（非悪意あるクラス）間で重みパラメーター上の微小な違いだけですばやく拡大します。その結果、「dead code triggers」等々を学習する際もパラメーターパタン自体ではそれを捉え難いことを示唆しています。

この研究結果から得られた知見は他の分野やタスクへどう応用できるか？

今回得られた知見は他の分野やタスクでも有益に活用可能です。例えば、「weight-based trojan signature method」を採用し，Neural Code Search等多岐に渡って利用されているAI支援プログラム開発向けLarge Language Models (LLMs) のセキュリティ強化手法開発等々，幅広く展開可能です．特定領域以外でも，本手法及び派生技術・戦略類似手法 を利用し，不正侵入防止策・バックドア攻撃対策・マイニングアウェア対策等幅広く応用範囲拡大可否考慮すべき点です．

内部的情報（例：パラメーター重み）を使用しないブラックボックス技術（ONIONやOSeql）はどういう場面で有効か？

内部的情報を一切使わず推論処理するブラックボックス技術如何場面有効性高め？具体的事例挙動評価時以下通り：

予測信頼度確認 - ニューラル言語処理系(LNM) 等予測信頼度把握時, ONION や OSeql 等ブランドBlack-box 技術活躍
危険入力識別 - 潜在危険入力識別時, Black-box 技術素早解析提供
不正操作排除 - 不正操作排除作業中, パフォーマンス低下無しBlack-box 技術採択最良
未知攻撃追跡 - 新型未知攻撃追跡中, ONION や OSeql 等Black-box 手法実証価値高まろう

以上内容参考資料基本原則徹底記述完了致しました．