SQL-GEN: 合成データとモデルマージによるテキストからSQLへの方言ギャップの解消
SQL-GENは、異なるSQL方言向けの学習データを自動生成することで、テキストからSQLへの変換における方言の違いを克服するフレームワークである。
大規模言語モデルの効率的なファインチューニングを実現するコアセット選択手法：In2Core
大規模言語モデル（LLM）のファインチューニングにおいて、影響関数を利用したコアセット選択手法In2Coreは、トレーニングデータ量と計算コストを削減しながら、従来の手法と同等以上の性能を達成できる。
大規模言語モデルにおける汎化と記憶：事前学習データに基づく能力分析
大規模言語モデルは、単純で知識集約的なタスクでは記憶に大きく依存する一方、複雑な推論ベースのタスクでは汎化能力が重要となる。
大規模言語モデルにおける拒否応答の学習は過去形に一般化するのか？
大規模言語モデルは、有害な要求を過去形で表現し直すだけで、簡単に「脱獄」できる可能性があり、現在の安全性に関する学習方法の脆弱性を示唆している。
大規模言語モデルにおける暗黙的語彙項目の痕跡としてのトークン消去
大規模言語モデル（LLM）は、事前学習中に、複数のトークンから意味のある単位にマッピングする暗黙の語彙を開発し、意味表現の形成におけるトークン消去効果はこのプロセスを示唆している。
ドキュメントを余さず活用する：拡張複数文書QAによる長文コンテキストLLMのベンチマーク
現実世界の複数文書シナリオにおける長文コンテキスト理解を評価するために、新たなベンチマーク「Loong」を提案する。Loongは、既存のベンチマークとは異なり、複数文書にわたって証拠を分散させることで、LLMの真の長文モデリング能力を評価する。
あらゆるテキストをセグメント化：堅牢性、効率性、適応性に優れた文分割のための普遍的なアプローチ
句読点やケーシングに依存せず、多様な言語やドメインのテキストを効果的にセグメント化できる新しい文分割モデル「Segment any Text (SAT)」とその改良版「SAT+SM」を提案する。
信頼性の高い検索拡張生成のための、モデル内部に基づく回答の引用元特定
検索拡張生成 (RAG) における回答の信頼性を確保するため、モデル内部情報を活用した新しい回答引用元特定手法「MIRAGE」が提案されている。
大規模言語モデルのアラインメントのための低冗長性最適化に向けて：すべてが「All You Need」であるわけではない
大規模言語モデル（LLM）の性能向上には、関連性の低いニューロンの更新による冗長性が課題となっており、本稿では、重要なニューロンと有用な教師信号に焦点を当てた低冗長性アラインメント手法ALLOを提案し、LLMと人間の意図の整合性を高める。
検索拡張生成のための統合アクティブ検索
本論文では、検索拡張生成（RAG）において、従来の単一基準のアクティブ検索手法の限界を克服するため、ユーザーの意図、知識要件、時間感受性、モデルの自己認識という4つの基準を統合した新規アクティブ検索フレームワーク「UAR」を提案する。
