소프트맥스 직접 선호도 최적화를 통한 추천 시스템 성능 향상
본 논문에서는 언어 모델 기반 추천 시스템의 성능을 향상시키기 위해 사용자 선호도를 효과적으로 학습하는 새로운 손실 함수인 S-DPO를 제안합니다. S-DPO는 기존 DPO를 확장하여 다중 부정 샘플을 활용하고, 이를 통해 순위 정보를 언어 모델에 효과적으로 주입합니다.
Softmax Direct Preference Optimization (S-DPO): Enhancing Language Model Recommendations with Multi-Negative Preference Data
This paper introduces S-DPO, a novel training objective for Language Model-based recommender systems that leverages multi-negative preference data to improve personalized ranking by aligning the model with user preferences more effectively than traditional language modeling losses.
Enhancing Code-Mixed Information Retrieval with RetrieveGPT: A Mathematical Model Approach Using GPT-3.5 Turbo for Relevance Detection in Roman Transliterated Bengali and English
This research paper introduces RetrieveGPT, a novel approach that combines GPT-3.5 Turbo with a mathematical model to improve information retrieval from code-mixed conversations, particularly in the context of Roman transliterated Bengali mixed with English.
정보 검색을 위한 트랜스포머 기반 언어 모델의 간편한 미세 조정 및 추론: 라이트닝 IR 프레임워크 소개
라이트닝 IR은 트랜스포머 기반 언어 모델을 사용한 정보 검색 작업을 위한 프레임워크로, 미세 조정, 인덱싱, 검색 및 재순위 지정을 포함한 전체 정보 검색 파이프라인을 지원하며, 사용 편의성, 확장성 및 재현성을 제공합니다.
Lightning IR: A PyTorch Lightning-based Framework for Simplified Fine-tuning and Inference of Transformer-based Language Models in Information Retrieval
Lightning IR is a novel framework that simplifies the process of fine-tuning and inference of transformer-based language models for information retrieval tasks, offering a modular and extensible architecture for the entire IR pipeline.
基於大型語言模型的自校準列表式重排序方法
本文提出了一種名為 SCaLR 的新型列表式重排序方法，旨在利用大型語言模型 (LLM) 生成全局相關性分數，以提高列表式重排序的效率和效果，並解決基於窗口的局部排序策略的局限性。
대규모 언어 모델을 사용한 자체 교정 리스트와이즈 재순위 지정
이 논문에서는 대규모 언어 모델(LLM)을 사용하여 효율적이고 효과적인 리스트와이즈 재순위 지정을 수행하는 새로운 방법인 SCaLR을 제안합니다. SCaLR은 명시적 관련성 점수를 통합하여 리스트와이즈 재순위 지정 패러다임을 개선하고, 전역적으로 비교 가능한 관련성 점수를 위해 자체 교정 훈련을 사용합니다.
大規模言語モデルを用いた自己較正型リストワイズ再ランク手法
大規模言語モデルを用いたリストワイズ再ランク手法において、従来のテキスト生成に基づく手法では計算コストと局所最適化の問題があったが、本論文では、リスト単位とペア単位の関連度スコアを明示的に導入し、自己較正によってスコアを調整することで、これらの問題を解決する新しいリストワイズ再ランク手法SCaLRを提案する。
Self-Calibrated Listwise Reranking with Large Language Models: Enhancing Efficiency and Effectiveness in Information Retrieval
This paper introduces SCaLR, a novel listwise reranking method utilizing large language models (LLMs) to improve both efficiency and effectiveness by incorporating explicit relevance scores and a self-calibration strategy.
將大型語言模型蒸餾到 BERT 中以進行網頁搜尋排名的最佳實務
本文介紹了一種名為 DisRanker 的新型蒸餾排名流程，旨在利用大型語言模型 (LLM) 的能力來增強 BERT 模型在網頁搜尋排名任務中的效能，並透過領域特定持續預訓練、基於排名損失的監督式微調以及混合式知識蒸餾損失函數等技術，成功地將 LLM 的排名能力遷移到更輕量級的 BERT 模型中，從而在保持效率的同時顯著提高搜尋結果的品質。
© 2024 by Linnk AI