SYNTHEVAL：利用合成檢查表對自然語言處理模型進行混合行為測試（警告：本文包含讀者可能感到冒犯或不安的語言。）
傳統的自然語言處理模型評估方法依賴於靜態測試集，往往會高估模型效能，並且難以全面、可解釋且動態地評估模型。本文提出的 SYNTHEVAL 框架利用大型語言模型 (LLM) 自動生成多樣化的測試案例，並結合人工標註，更有效地揭露模型在處理否定、時態、比較級、特定短語、諷刺等語言現象時的弱點。
SYNTHEVAL: 합성 체크리스트를 사용한 NLP 모델의 하이브리드 행동 테스트 (경고: 본 논문에는 불쾌감을 유발할 수 있는 언어가 포함되어 있습니다.)
전통적인 벤치마크에서 높은 성능을 보이는 NLP 모델들이 실제로는 다양한 언어적 복잡성에 취약하며, 이러한 문제점을 효과적으로 드러내기 위해 대규모 언어 모델(LLM) 기반의 하이브리드 행동 테스트 프레임워크인 SYNTHEVAL을 제안한다.
SYNTHEVAL：合成チェックリストを用いたNLPモデルのハイブリッド行動テスト（注意：この論文には、不快感を与える可能性のある表現が含まれています）
本論文では、大規模言語モデル（LLM）を用いて多様なテストタイプを生成し、NLPモデルの弱点をより包括的に評価するハイブリッド行動テストフレームワークSYNTHEVALを提案する。
SYNTHEVAL: Using LLMs to Automatically Generate Behavioral Tests for NLP Models, Revealing Hidden Vulnerabilities in Sentiment Analysis and Toxicity Detection
SYNTHEVAL leverages large language models (LLMs) to automatically generate diverse and challenging test cases, revealing significant weaknesses in task-specific NLP models that are masked by high performance on standard benchmarks.
語言模型與人類對語言不確定性的感知
大型語言模型 (LLM) 能夠理解語言中的不確定性，並以與人類相似的模式將其映射到數值，但它們更容易受到自身對陳述的信念所影響，導致輸出結果產生偏差。
언어 모델과 인간의 언어적 불확실성에 대한 인식 비교
대규모 언어 모델(LLM)은 인간과 유사한 방식으로 언어적 불확실성을 해석할 수 있지만, 주어진 정보의 진위 여부에 따라 편향된 해석을 보이는 경향이 있다.
How Language Models and Humans Perceive Linguistic Uncertainty
While large language models (LLMs) can map uncertainty expressions to numerical probabilities similarly to humans, they are significantly more susceptible to bias from their prior knowledge, raising concerns about their reliability in interpreting and generating uncertainty language.
듀얼 추론 대형 언어 모델을 사용한 해석 가능한 감별 진단
대형 언어 모델(LLM)을 활용하여 의료 분야의 감별 진단 과정을 자동화하고 해석 가능성을 향상시켜 임상 의사 결정을 지원할 수 있다.
解釈可能な鑑別診断のための双方向推論大規模言語モデル
本稿では、大規模言語モデル (LLM) を用いて、解釈可能な鑑別診断を行うための新規フレームワーク「Dual-Inf」を提案する。Dual-Infは、症状から診断、診断から症状という双方向の推論をLLMに実行させることで、診断の解釈と精度を向上させる。
Dual-Inference Large Language Models for Interpretable Differential Diagnosis
Large language models (LLMs) can be effectively used for interpretable differential diagnosis by leveraging a dual-inference approach that generates diagnoses from symptoms, verifies them by recalling associated symptoms, and iteratively refines predictions for improved accuracy and explainability.
© 2024 by Linnk AI