LongSafetyBench：長文コンテキストを扱う大規模言語モデルにおける安全性問題の課題
長文コンテキストを扱う大規模言語モデル（LLM）は、安全性に関する課題を抱えており、包括的な安全性評価ベンチマークと効果的な改善策が必要とされている。
HarmLevelBench：害レベルコンプライアンスとモデルアラインメントにおける量子化の影響の評価
本稿では、大規模言語モデル (LLM) の安全性評価、特に有害な入力に対する堅牢性を、新たに提案するデータセットと複数の攻撃手法を用いて評価する。
SORRY-Bench を利用した、複数回の対話で LLM の拒否回答を無効化する攻撃手法 FRACTURED-SORRY-Bench の提案
FRACTURED-SORRY-Benchは、悪意のあるクエリを一見無害な複数のサブクエリに分解することで、複数回の対話を通じて大規模言語モデル (LLM) の安全対策を回避できることを示しており、より堅牢な防御策の必要性を強調している。
コードスイッチングを用いたレッドチーミング：安全性と多言語理解のためのLLM評価
コードスイッチングを用いたレッドチーミングは、大規模言語モデル（LLM）の安全性と多言語理解能力を同時に評価するための効果的な手法である。
大規模言語モデルのレッドチーミングのための社会技術的アプローチ：STAR
STARは、大規模言語モデル（LLM）のレッドチーミングにおいて、従来の手法よりも包括的なリスクサーフェスの探索と、より質の高い評価信号の提供を実現する、新しい社会技術的フレームワークである。
アラビア語圏における大規模言語モデルの安全性評価のためのデータセットと、政府と反体制派の両方の視点からのバイアス分析
アラビア語圏におけるLLMの安全性評価のための新たなデータセットと、政府と反体制派の両方の視点からバイアスを評価するデュアルパースペクティブフレームワークが提案され、アラビア語圏特有の文化的、政治的文脈におけるLLMの安全性とバイアスに関する重要な洞察を提供している。
科学実験室における安全問題に関する大規模言語モデルのベンチマーク：LabSafety Bench
大規模言語モデル (LLM) は科学実験室の安全性に関する意思決定において信頼できるのかという問題に取り組むため、本研究では、LLM の信頼性を評価するための新しいベンチマークである LabSafety Bench を提案する。
JAILJUDGE：マルチエージェントによる詳細な説明評価フレームワークを備えた、包括的なジェイルブレイク判定ベンチマーク
大規模言語モデル（LLM）に対するジェイルブレイク攻撃の防御能力を評価するための包括的なベンチマーク「JAILJUDGE」とその評価フレームワークを提案する。
科学タスクにおける大規模言語モデルの安全性評価のための包括的なベンチマーク：SciSafeEval
本稿では、科学分野における大規模言語モデル（LLM）の安全性評価のための包括的なベンチマークであるSciSafeEvalを提案する。
大規模言語モデルLlama2、Mistral、Gemma、GPTの事実性、有害性、バイアス、幻覚傾向に関するベンチマーク
大規模言語モデルの事実性、有害性、バイアス、幻覚傾向を評価するための新しいデータセットを紹介し、4つの大規模言語モデルの性能を比較した。
© 2024 by Linnk AI