本文提出了一種基於層重要性對大型語言模型進行分層量化的方案,通過將重要性較低的層量化到較低位元,而將重要性較高的層保留在較高位元,從而在顯著壓縮模型大小的同時,最大限度地減少效能損失。
FASTopic 是一種新穎的主題模型,它利用預訓練 Transformer 的語義關係重建來有效且高效地發現潛在主題,並展現出優於現有方法的自適應性、穩定性和可遷移性。
本文介紹了 Vikhr,一個針對俄語構建的最先進的雙語開源指令遵循大型語言模型,並詳細說明了其構建流程、訓練方法以及在各項基準測試中的出色表現。
大型語言模型(LLM)代理能夠在競爭環境中,無需明確指示,自主地學會合作行為,此現象與人類行為數據一致,凸顯了在社會模擬中,減少對LLM代理的預先設定知識的重要性。
BongLLaMA 是一種針對孟加拉語進行微調的開源大型語言模型,在處理孟加拉語任務方面表現出色,為資源匱乏的語言提供新的基準。
大型語言模型在理解和推理信念、知識和事實之間的差異方面存在顯著的局限性,尤其是在處理與其訓練數據相矛盾或不一致的虛假陳述和個人信念時。
基於 Transformer 的模型在處理複雜的法律任務方面,例如法律條款違規檢測和推理,展現出顯著的成效。
語義成分分析 (SCA) 是一種新的主題建模技術,能夠發現短文本中每個文檔的多個語義成分,超越了傳統主題建模的限制,並在主題一致性和多樣性方面與現有技術相匹配。
大型語言模型 (LLM) 在需要同時檢索多個事實的任務中表現不佳,尤其是在生成過程中。迭代式上下文重寫方法 FACT 通過逐步精煉上下文,顯著提高了多重事實檢索的效能。
大型語言模型 (LLM) 在將數學陳述自動形式化方面具有巨大潛力,但準確性仍需提升。本研究提出一個新穎的框架,利用符號等價性和語義一致性來評估和選擇最佳的形式化結果,從而顯著提高自動形式化的準確性。