LEADRE：基於多面向知識增強型大型語言模型的展示廣告推薦系統

Core Concepts

本文提出了一個名為 LEADRE 的新型框架，利用大型語言模型 (LLM) 的世界知識來改進傳統展示廣告推薦系統，並解決了在廣告領域應用 LLM 的三個關鍵挑戰：如何捕捉用戶興趣、如何彌合 LLM 與廣告系統之間的知識差距以及如何有效地部署 LLM。

Abstract

研究背景
線上展示廣告通過促進目標內容的傳遞和滿足用戶的個人興趣，為廣告商、發布商和用戶提供了巨大的價值。傳統的展示廣告系統通常採用多階段架構，包括檢索、粗排、精排、重排等。檢索階段作為流程的入口，對於識別用戶興趣和克服「資訊繭房」效應至關重要，它通過呈現多樣化的廣告選項來實現這一目標。
研究問題
傳統的檢索解決方案通常採用基於 ID 的排序學習機制來學習協同語義，以便進行有效的廣告過濾。然而，這些方法未能充分利用廣告的內容資訊，在生成多樣化推薦方面存在局限性，尤其是在處理稀疏的用戶行為和長尾廣告時。
研究方法
為了應對這些挑戰，本文提出了一個名為 LEADRE 的新型多面向知識增強型大型語言模型驅動的展示廣告推薦系統。該框架由三個關鍵模組組成：

**意圖感知提示工程：**該模組設計了意圖感知的 <提示，回應> 對，這些對經過微調，使大型語言模型能夠生成符合用戶個人興趣的廣告。為了克服廣告領域用戶行為的稀疏性，該模組引入了來自內容領域（如短影片和新聞）的用戶行為。此外，它通過在提示中結合長期興趣（源自用戶個人資料和歷史行為）和短期興趣（源自近期行為）來模擬用戶的商業意圖。
**廣告特定知識對齊：**該模組結合了輔助微調任務和直接偏好優化 (DPO)。輔助微調任務專為彌合語言模態與廣告系統之間的語義差距而設計。此外，為了平衡用戶意圖和商業價值，我們應用了 DPO，它鼓勵模型生成具有更高商業價值的廣告。
**高效的系統部署：**該模組將延遲容忍服務和延遲敏感服務整合到大型語言模型部署架構中。為了進一步提高計算效率，我們使用 TensorRT 大型語言模型加速來優化部署過程。

研究結果
我們使用具有 10 億個參數的混元模型實現了 LEADRE，並在騰訊的展示廣告系統中進行了廣泛的離線和線上實驗。離線結果驗證了各個模組的貢獻，證明了它們在整個框架中的有效性。在線上 A/B 測試中，LEADRE 使微信頻道和朋友圈的服務用戶的商品交易總額 (GMV) 分別提升了 1.57% 和 1.17%。目前，LEADRE 已成功部署在這兩個平台上，每天為數十億用戶提供服務，並處理數百億個用戶請求。檢索到的廣告會作為新特徵進一步整合到排名階段。具體來說，在用戶端，檢索到的廣告用於擴展用戶興趣；而在商品端，檢索到的廣告與目標廣告之間的匹配分數則作為新的商品級特徵引入。這些新特徵使微信頻道的商品交易總額 (GMV) 額外提升了 1.43%。
研究結論
本文提出了 LEADRE，這是一個基於大型語言模型的生成式檢索框架，用於展示廣告，並通過結合延遲容忍服務系統和延遲敏感服務系統來部署它，以優化性能和資源利用率。LEADRE 整合了意圖感知提示工程和廣告特定知識對齊，以確保生成的廣告準確、多樣化、符合高商業價值並滿足用戶興趣。廣泛的離線和線上實驗證明了所提出方法的有效性。我們觀察到離線指標（如命中率）以及線上指標（如商品交易總額）都有顯著改善。

Stats

LEADRE 使微信頻道和朋友圈的服務用戶的商品交易總額 (GMV) 分別提升了 1.57% 和 1.17%。
這些新特徵使微信頻道的商品交易總額 (GMV) 額外提升了 1.43%。
訓練在 16 個 A100Pro GPU 上進行，而推理則在數百個 L40S GPU 上執行。
對於廣告索引，我們採用混元模型對廣告特徵進行編碼。
殘差量化步驟數設定為 4，每層包含 1024 個代碼向量，每個向量的維度為 8。
S-ID 序列的長度設定為 5。
對於 LLM 微調，我們採用 AdamW 優化器，將學習率設定為 6e-5，權重衰減設定為 0.9，最小學習率設定為 6e-6。
通過利用數據並行和梯度累積，批次大小設定為 64。
為了避免過度擬合，訓練進行了 3 個時期。

Key Insights Distilled From

LEADRE: Multi-Faceted Knowledge Enhanced LLM Empowered Display Advertisement Recommender System

by Fengxin Li, ... at arxiv.org 11-22-2024

https://arxiv.org/pdf/2411.13789.pdf

Deeper Inquiries

在保護用戶隱私的前提下，如何更有效地利用用戶數據來提升 LEADRE 的性能？

在保護用戶隱私的前提下，可以透過以下方式更有效地利用用戶數據來提升 LEADRE 的性能：

數據脫敏和匿名化： 在收集和使用用戶數據之前，先進行數據脫敏處理，例如使用雜湊函數將用戶 ID 轉換為不可逆的匿名标识符，去除或泛化敏感的個人信息，例如姓名、地址等。
聯邦學習： 採用聯邦學習技術，在不直接訪問用戶原始數據的情況下，利用分散在用戶設備上的數據進行模型訓練。這種方式可以有效保護用戶隱私，同時也能夠利用到更豐富的數據資源。
差分隱私： 在模型訓練過程中，引入差分隱私技術，通過添加噪聲等方式，防止模型過度擬合特定用戶的數據，從而保護用戶隱私。
用戶行為數據聚合： 將用戶行為數據進行聚合，例如統計特定群體用戶對某類廣告的點擊率，而不是單獨分析每個用戶的行為數據。這種方式可以降低數據的敏感度，同時也能夠為模型提供有價值的信息。
用戶隱私偏好設置： 為用戶提供更加精細化的隱私偏好設置，讓用戶可以自主選擇是否分享某些類型的數據，以及數據的使用方式。
持續監控和審計： 建立完善的數據安全和隱私保護機制，對數據的使用情況進行持續監控和審計，確保用戶數據得到安全、合規的使用。

通過以上措施，可以在保護用戶隱私的前提下，更有效地利用用戶數據來提升 LEADRE 的性能，為用戶提供更加個性化、精准的廣告推薦服務。

隨著廣告形式和用戶行為的不斷變化，LEADRE 如何進行動態調整以適應新的趨勢？

LEADRE 可以通過以下方式進行動態調整以適應新的廣告形式和用戶行為趨勢：

持續學習和模型更新： LEADRE 的核心是基於 LLM 的生成式檢索模型，該模型需要不斷學習新的數據和模式才能保持其有效性。 因此，需要建立持續學習機制，定期使用最新的用戶行為數據、廣告數據和內容數據對模型進行重新訓練和更新，使其能夠捕捉到最新的趨勢變化。
動態調整 Prompt 工程： Prompt 工程是 LEADRE 中非常重要的一環，它直接影響著模型的生成效果。 隨著廣告形式和用戶行為的變化，需要不斷調整和優化 Prompt 模板，例如加入新的廣告特徵、用戶行為類型、內容領域信息等，以確保模型能夠理解新的廣告形式和用戶意圖。
引入新的知識和信息： LEADRE 的性能很大程度上取決於其所使用的知識和信息的豐富程度。 因此，需要不斷引入新的知識和信息，例如新的廣告形式、新的用戶行為模式、新的內容領域知識等，以擴展模型的知識庫，提升其對新趨勢的適應能力。
多模態信息融合： 未來的廣告形式將更加多樣化，例如视频广告、直播广告等。 LEADRE 需要具備處理多模態信息的能力，例如將圖像、视频、音频等信息與文本信息進行融合，以更全面地理解廣告內容和用戶意圖。
A/B 測試和線上評估： 為了驗證 LEADRE 的調整效果，需要進行嚴格的 A/B 測試和線上評估，比較不同模型版本在實際應用場景中的表現，例如廣告點擊率、轉化率、用戶參與度等指標，根據評估結果對模型進行進一步的優化和調整。

通過以上動態調整策略，LEADRE 可以不斷適應新的廣告形式和用戶行為趨勢，保持其在廣告推薦領域的領先地位。

除了商品交易總額 (GMV) 之外，LEADRE 的應用是否會對其他關鍵指標（例如用戶參與度和廣告點擊率）產生積極影響？

是的，除了商品交易總額 (GMV) 之外，LEADRE 的應用預計也會對其他關鍵指標產生積極影響，例如：

用戶參與度： LEADRE 通过更精准地捕捉用户兴趣，推荐更符合用户口味的广告，能够提升用户的广告体验，进而提高用户参与度。更具体的指标包括：

广告停留时间： 用户在 LEADRE 推荐的广告上停留的时间更长，代表用户对广告内容更感兴趣。
广告互动率： 用户更愿意点击 LEADRE 推荐的广告，与广告进行互动，例如点击链接、填写表单等。
用户反馈： 用户对 LEADRE 推荐的广告给出更积极的反馈，例如点赞、评论、分享等。

廣告點擊率 (CTR)： LEADRE 通过引入多方面知识和语义理解能力，能够更好地理解广告内容和用户意图，从而推荐更相关的广告，提高广告点击率。
轉化率 (CVR)： 更高的用户参与度和广告点击率最终会带来更高的转化率，即用户最终购买商品或服务的比例。
用戶留存率： 良好的广告体验能够提升用户对平台的满意度，进而提高用户留存率，使用户更长久地使用平台的服务。
总而言之，LEADRE 的应用不仅能够提升 GMV，还能够提升用户参与度、广告点击率、转化率和用户留存率等关键指标，为广告平台带来全方位的提升。