Core Concepts
임상 정신과 노트에서 사회적 지지와 사회적 고립에 대한 정보를 자동으로 추출하고 세부 범주를 구분하는 규칙 기반 시스템과 대규모 언어 모델을 개발하고 비교하였다.
Abstract
이 연구는 임상 정신과 노트에서 사회적 지지(SS)와 사회적 고립(SI)에 대한 정보를 자동으로 추출하고 세부 범주를 구분하기 위해 규칙 기반 시스템(RBS)과 대규모 언어 모델(LLM)을 개발하고 비교하였다.
데이터 및 방법:
Mount Sinai Health System(MSHS, n=300)과 Weill Cornell Medicine(WCM, n=225)의 정신과 진료 노트를 수작업으로 주석 처리하여 기준 데이터셋을 구축하였다.
SS와 SI 및 하위 범주(예: 사회적 네트워크, 도구적 지원, 외로움)를 식별하기 위해 RBS와 FLAN-T5-XL 기반 LLM을 개발하였다.
결과:
SS/SI 추출에서 RBS는 MSHS(0.89 vs. 0.65)와 WCM(0.85 vs. 0.82)에서 LLM보다 높은 매크로 평균 F-점수를 얻었다.
하위 범주 추출에서도 RBS가 MSHS(0.90 vs. 0.62)와 WCM(0.82 vs. 0.81)에서 LLM을 능가했다.
고찰 및 결론:
예상과 달리 RBS가 모든 지표에서 LLM을 능가했다. 이는 RBS와 LLM의 접근 방식 차이 때문인 것으로 분석되었다.
RBS는 기준 주석과 동일한 규칙을 따르도록 설계 및 개선되었지만, LLM은 일반적인 영어 이해에 더 부합하는 방식으로 범주화했다.
두 가지 접근 방식 모두 장단점이 있으며, 향후 테스트를 위해 오픈소스로 제공된다.
Stats
사회적 고립은 의료 비용 증가, 이환율, 사망률과 관련이 있으며 하루 15개비 흡연만큼 해롭다.
사회적 지지는 건강 행동 및 치료 순응도 향상과 관련이 있다.
전자 건강 기록(EHR)에서 사회적 지지와 고립은 구조화된 데이터가 아닌 진료 노트에 기록되므로 수작업 추출이 어렵다.
Quotes
"사회적 고립은 건강 관리 지출, 이환율, 사망률과 관련이 있으며 하루 15개비 흡연만큼 해롭다."
"사회적 지지는 약물 복용 및 치료 순응도 향상과 관련이 있다."