多言語言語モデル

多言語オープンソース言語モデル AURORA-M: 米国大統領令に基づいて徹底的に検証された初の取り組み

AURORA-M は、英語、フィンランド語、ヒンディー語、日本語、ベトナム語、コードを対象とした15Bパラメーターの多言語オープンソースモデルであり、StarCoderPlusをベースに435億トークンの追加プリトレーニングを行っている。また、人間レビューの安全性指示に基づいてファインチューニングされており、従来のレッドチームの検討事項だけでなく、バイデン・ハリス大統領令で示された特定の懸念事項にも対応している。

多言語デコーダーベースの事前学習言語モデルの多言語能力 - 言語固有のニューロンの発見と制御

バイロン：QLoRAとジップタイ埋め込みに基づく多言語転移学習

多言語オープンソース言語モデル AURORA-M: 米国大統領令に基づいて徹底的に検証された初の取り組み

多言語言語モデルにおける言語間転移の効率的な分析手法