時系列基礎モデルの概観: 大規模言語モデルを用いた時系列表現の一般化
時系列分析において、大規模言語モデルは優れた一般化能力、零shot/few-shot学習能力、説明可能性を発揮し、様々な課題を同時に解決できる統一的なモデルの開発に貢献している。
大規模言語モデルの応答と課題解決における「文脈学習」の寄与要因の分析
文脈学習(ICL)は大規模言語モデルの性能向上に大きく寄与するが、その寄与要因は主に「ラベルスペースの調整」と「ラベル形式の調整」にあり、「弁別力」への寄与は限定的である。
JetMoE: 100万ドル未満の予算で Llama2 の性能を達成する
JetMoE-8Bは、100万ドル未満の予算で訓練されたにもかかわらず、Llama2-7Bを上回る性能を示し、Llama2-13B-Chatを上回るJetMoE-8B-Chatを実現した。これは、大規模言語モデルの訓練がこれまで考えられていたよりもはるかに低コストで実現できることを示唆している。
大規模言語モデルの出力に対するユーザー中心の制約の必要性
ユーザーが大規模言語モデルの出力に対して、構造化された形式や意味的・スタイル的なガイドラインに従うことを要求する必要性が高まっている。
大規模言語モデルを使った動的な性格生成
大規模言語モデルの性格生成能力を高めるため、性格評価機能を組み込み、キャラクターの性格情報を活用してパーソナリティを動的に生成する。
大規模言語モデルの深さ別概念理解の分析
大規模言語モデルは、より抽象的な概念を理解するためにより深い層を必要とする。
大規模言語モデルの推論を統一的なレイヤースキップ戦略で高速化する
統一的なレイヤースキップ戦略を提案し、入力に依存しない安定した高速化を実現する。
大規模言語モデルの不確実性とメタモデルを用いた多タスク型ホーリュシネーション検出システム「MetaCheckGPT」
大規模言語モデルの出力に含まれるホーリュシネーションを検出するために、複数の言語モデルの不確実性を活用したメタモデルを提案する。
大規模言語モデルの検索補助型生成の高速化と精度向上
本研究では、大規模言語モデルの検索補助型生成タスクにおいて、効率性と精度を同時に向上させる新しい手法「Superposition Prompting」を提案する。
大規模言語モデルにおける信頼性の高い生成の重要性
大規模言語モデルにおいて、外部情報の信頼性を考慮することで、より正確で信頼性の高い出力を生成することができる。
© 2024 by Linnk AI