생물의학 분야에서 대규모 언어 모델의 성능과 한계를 체계적으로 평가하고, 이를 바탕으로 실제 응용에 대한 권장사항을 제시하였다.
일본 생물의학 대형 언어 모델의 성능을 종합적으로 평가하기 위한 대규모 벤치마크 JMedBench를 제안한다. 이 벤치마크는 5가지 과제에 걸쳐 20개의 일본 생물의학 데이터셋과 8개의 대표적인 모델을 포함하고 있다.
대규모 언어 모델(LLM)은 생물의학 및 의료 분야의 다양한 응용 프로그램에 필수적인 자원이 되었지만, 부정확한 정보 생성 또는 환각 문제에 직면하고 있다. 검색 증강 생성은 이러한 모델이 지식을 업데이트하고 성능을 향상시킬 수 있는 솔루션을 제공한다. BiomedRAG는 검색된 텍스트를 LLM에 직접 입력하는 간단한 접근 방식을 채택하여, 특히 잡음이 많은 작업에서 검색된 문서의 잡음 정보를 효과적으로 우회한다. 또한 LLM을 사용하여 검색 모델을 감독할 수 있는 잠재력을 보여주어, LM의 예측을 개선하는 데 도움이 되는 문서를 검색할 수 있다.
VANER는 대규모 언어 모델을 활용하여 다양한 생물의학 개체를 효과적으로 인식할 수 있는 통합 솔루션이다.
대규모 언어 모델(LLM)은 다양한 자연어 처리 작업에서 뛰어난 성능을 보이지만, 의료 언어의 복잡성과 데이터 부족으로 인해 생물의학 분야에서 고유한 과제에 직면한다. 이 연구는 LLM의 임상 개체명 인식 성능을 향상시키기 위한 전략을 탐구한다.
본 연구는 임상시험 보고서 데이터에 대한 자연어 추론 모델의 견고성과 신뢰성을 향상시키기 위해 새로운 평가 프레임워크를 제안한다. 이를 통해 모델의 일관성, 충실도 및 기존 F1 점수를 종합적으로 평가하여 실제 임상 환경에서의 적용 가능성을 높이고자 한다.
대규모 언어 모델(LLM)의 일관성, 충실도 있는 추론 능력을 평가하여 임상시험 보고서의 안전한 자연어 추론을 수행하고자 한다.
생물의학 텍스트에서 개체명을 인식하는 LLM의 성능을 향상시키기 위해 관련 개념의 정의를 동적으로 제공하는 새로운 지식 보강 접근법을 제안한다.
사전 훈련된 언어 모델을 도메인 특화 작업에 효과적으로 활용하기 위해서는 도메인 특정 용어에 대한 모델의 민감도를 적절히 높여야 한다.