限られた計算リソースで事前学習済み言語モデルから高品質なテキスト埋め込みモデルを生成するための、計算コスト最適なファインチューニング手法と、それに基づくモデルサイズ、データ量、ハイパーパラメータの選択指針を提示する。
大規模言語モデルを用いた機械翻訳において、単語アラインメントを指標とした選好学習を用いることで、幻覚や脱落の問題を軽減できる可能性がある。
大規模言語モデル(LLM)を用いた固有表現認識(NER)において、並列デコーディングを用いることで、従来の逐次的な手法と比較して推論速度を大幅に向上させることができる。
Marco-o1は、CoTファインチューニング、MCTS、反射メカニズム、革新的な推論戦略を活用し、複雑な現実世界の問題解決タスクに最適化された、オープンエンドな解決策のためのオープン推論モデルである。
大規模言語モデル(LLM)の安全性を確保するための軽量なガードレールとして、Sentence-BERTを用いた埋め込みモデルと分類器を組み合わせた手法が提案され、その有効性が示された。
BERT学習転移を用いることで、ロシア語文の骨格構造を強調する高精度な品詞タグ付けモデルを開発できる。
大規模言語モデルの継続的な事前学習において、学習速度に基づいてドメインの重み付けを動的に調整する新しいフレームワーク「Velocitune」は、学習の進捗状況を均衡化することで、さまざまなタスクにおけるモデルの性能を向上させる。
本稿では、国際関係の予測に従来のデータセットが抱える限界を克服するため、大規模言語モデルを用いて、ニュース記事から将来の国際イベントを予測するための、より包括的で信頼性の高いデータセット「WORLDREP」を提案する。
中国における外来受付の負担を軽減するために、大規模言語モデルとマルチエージェントシミュレーションを用いたパーソナライズされたインテリジェント外来受付システム(PIORS)を開発し、その有効性を自動評価と人間による評価の両方で実証した。
大規模言語モデル (LLM) は、複雑な長期的計画タスクに苦労することが多いため、本稿では、LLM がコードの利点を活用しながら、エラーから柔軟に適応し、曖昧な状況に対処できる新しい計画アプローチである REPL-Plan を提案する。