自然言語処理

Logg Inn

innsikt - 自然言語処理

本稿では、ChatGPTの出力に見られる、事実の裏付けに欠け、不誠実な性質を持つ言語の使用を、統計的手法を用いて分析し、それが人間の政治的言説や「ブルシット・ジョブ」に見られる言語ゲームと類似していることを示唆しています。

大規模言語モデル（LLM）の構造化生成における課題を解決するため、本論文では、コンテキスト依存トークンとコンテキスト非依存トークンを区別し、効率的なオートマトン実行とGPU計算のオーバーラップを実現する、柔軟かつ効率的な構造化生成エンジンであるXGrammarを提案する。

Astro-HEP-BERTは、天体物理学と高エネルギー物理学のテキストに特化したBERTモデルであり、大規模コーパスでのトレーニングを通じて、これらの分野における概念の意味の研究に効果的なツールとなる。

MolReFlectは、分子構造とそのテキスト記述間の詳細なアラインメントを文脈に応じて洗練させることで、分子とテキスト間の変換タスクの性能を向上させ、より解釈性の高いフレームワークを提供する。

大規模言語モデルから小規模言語モデルへの知識蒸留において、フィードバックに基づいて問題の難易度を分類し、それぞれに適した問題生成を行うことで、小規模言語モデルの数学的推論能力を効果的に向上させることができる。

LLMを用いてビジュアルノベルゲームのような分岐型ストーリーを生成する際、動的なコンテキスト履歴を提供するDCP/Pアプローチが、従来の方法よりもストーリーの質、特に一貫性とテーマとの整合性において優れている。

BERTやGPTなどの大規模言語モデルにおける感情分析タスクにおいて、平均プーリング、最大プーリング、重み付き合計プーリングといった異なるプーリングメカニズムが与える影響を比較分析した結果、各手法はタスクの特性やモデルアーキテクチャによって異なるパフォーマンスを示すことが明らかになった。

大規模言語モデル（LLM）の表現は、検索拡張生成（RAG）システムにおける知識チェックの有効性を大幅に向上させることができ、矛盾する情報や無関係な情報をフィルタリングすることでRAGのパフォーマンスを向上させることができる。

大規模言語モデル（LLM）の精度向上はパフォーマンス向上に繋がる一方で、公平性を犠牲にする場合があり、両者のバランスを取るための多目的学習タスクとしての訓練方法が提案されている。

大規模言語モデルは定性分析の自動化と強化を可能にするが、プロンプトエンジニアリングへの依存、不正確さ、文脈の限界といった課題も存在する。

Produkter

Ressurser