本研究では、ドイツ語の臨床および生物医学テキストの理解を目的として、いくつかの新しい言語モデルを紹介している。これらのモデルは、公開された翻訳データと大規模ドイツ病院の非公開臨床データの2つのデータストリームを使用して事前学習されている。
まず、一般ドメインの言語モデルを医療ドメインに適応させる2つのアプローチ、すなわち、ゼロからの学習と継続的な事前学習について説明している。その後、5つの下流タスク(named entity recognition、multi-label classification、extractive question answering)を使ってこれらのモデルを評価している。
結果として、医療ドメインの事前学習を行ったモデルが、一般ドメインのモデルよりも優れた性能を示すことが分かった。特に、臨床データを使った事前学習は有効であり、翻訳データを使った事前学習でも同等の性能が得られることが示された。
このように、医療ドメインの事前学習は重要であるが、プライバシー保護の観点から公開データを活用することも有効であることが明らかになった。
إلى لغة أخرى
من محتوى المصدر
arxiv.org
استفسارات أعمق