AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文作者為北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院碩士研究生倪�？担笇�(dǎo)老師為肖達(dá)副教授。主要研究方向包括自然語(yǔ)言處理、模型可解釋性。該工作為倪睿康在彩云科技實(shí)習(xí)期間完成。聯(lián)系郵箱：ni@bupt.edu.cn, xiaoda99@bupt.edu.cn
人類擁有一種強(qiáng)大的能力，能夠理解多個(gè)實(shí)體之間復(fù)雜的關(guān)系并基于這些關(guān)系進(jìn)行推理，這被稱為組合關(guān)系推理（Compositional Relational Reasoning, CRR）。這種能力不僅是智能標(biāo)志，也是我們應(yīng)對(duì)日常問(wèn)題和復(fù)雜任務(wù)的核心技能。那么，像 GPT 這樣的大型語(yǔ)言模型（LLM）是否具備這種能力？它們又是如何在內(nèi)部處理這種任務(wù)的？為了回答這個(gè)問(wèn)題，研究者開(kāi)發(fā)了一個(gè)新的基準(zhǔn)測(cè)試，稱為廣義關(guān)聯(lián)回憶（Generalized Associative Recall, GAR），專門用來(lái)評(píng)估 LLM 在組合推理任務(wù)中的表現(xiàn)，并進(jìn)一步研究模型如何解決這些任務(wù)。論文《Benchmarking and Understanding Compositional Relational Reasoning of LLMs》已被 AAAI 2025 接收。本工作由北京郵電大學(xué)和彩云科技合作完成。
論文地址：https://arxiv.org/abs/2412.12841
代碼地址：https://github.com/Caiyun-AI/GAR
GAR 基準(zhǔn)測(cè)試
研究者注意到，目前大多數(shù)用于測(cè)試 LLM 的任務(wù)要么過(guò)于簡(jiǎn)單，只能用于可解釋性分析，無(wú)法真實(shí)反映模型在復(fù)雜推理場(chǎng)景下的表現(xiàn)，要么過(guò)于復(fù)雜，不適合深入研究模型的內(nèi)部機(jī)制。因此，他們?cè)O(shè)計(jì)了 GAR，一個(gè)更加多樣化和具有挑戰(zhàn)性的基準(zhǔn)測(cè)試。GAR 整合了多個(gè)經(jīng)典任務(wù)（如 knowledge recall、associate recall、Indirect Object Identification (IOI) 等），并通過(guò)不同的任務(wù)形式（如肯定 / 否定句、生成 / 分類任務(wù)）和難度等級(jí)，系統(tǒng)地考察模型的推理能力。
簡(jiǎn)單來(lái)講（更多例子見(jiàn)下圖 1 和圖 2）：
associate recall 就是從前文 “抄寫”：前文說(shuō)了 “小明有蘋果”，后文再說(shuō) “小明有__”，就知道要填 “蘋果”；
knowledge recall 就是記到 “腦子” 里的各種常識(shí)知識(shí)：蘋果是一種__（水果），巴黎在__（法國(guó)）
IOI 就是排除（否定）：【蘋果、狗、蘋果】哪個(gè)不是蘋果？__（狗）
GAR 的特點(diǎn)是：
1. 挑戰(zhàn)性足夠高：即使是最先進(jìn)的 LLM，在 GAR 任務(wù)上的表現(xiàn)也并不理想，暴露了它們?cè)诮M合推理能力上的缺陷。
2. 適合深入研究：GAR 任務(wù)相對(duì)簡(jiǎn)單的生成過(guò)程，使得研究者能夠更好地追蹤模型內(nèi)部的推理機(jī)制。
圖 1 廣義關(guān)聯(lián)回憶（Generalized Associative Recall, GAR）任務(wù)構(gòu)建框架。GAR 任務(wù)的設(shè)計(jì)流程包括三個(gè)步驟：選擇關(guān)系模式（如 “same” 或 “kindOf”）、采樣數(shù)據(jù)構(gòu)建關(guān)系環(huán)（結(jié)合語(yǔ)義與語(yǔ)法關(guān)系）以及生成語(yǔ)句并引入語(yǔ)義和句法變體（如否定形式或主賓交換），圖中左中右部分分別展示了關(guān)系環(huán)的構(gòu)建、任務(wù)數(shù)據(jù)的生成與語(yǔ)句的多樣化處理，體現(xiàn)了 GAR 在任務(wù)靈活性和復(fù)雜度上的優(yōu)勢(shì)
圖 2 GAR 任務(wù)示例。任務(wù)分為兩大類：生成式（填空題，補(bǔ)全最后一個(gè)詞）和判別式（判斷題，回答 Yes 或 No）
現(xiàn)有模型的表現(xiàn)
通過(guò)對(duì)主流開(kāi)源（如 Llama-2/3 7B/13B/33B/70B）和閉源模型（如 GPT-3.5/4）的測(cè)試發(fā)現(xiàn)：
任務(wù)難度顯著影響表現(xiàn)：當(dāng)任務(wù)的推理步驟或復(fù)雜度增加時(shí)，模型的正確率會(huì)明顯下降。
“組合性差距（Compositionality Gap）”：模型在回答任務(wù)的各個(gè)子問(wèn)題時(shí)可能表現(xiàn)良好，但無(wú)法正確組合這些答案以得出最終結(jié)論。例如，模型能回答對(duì) “【小明有蘋果，小紅有狗】小明有__（蘋果）”（前文抄寫），對(duì) “蘋果是一種__（水果）”（常識(shí)）和 “【小明、小紅】里哪個(gè)不是小紅？__（小明）”（否定排除）也毫無(wú)壓力，但把它們組合起來(lái)：“【小明有蘋果，小紅有狗】小紅沒(méi)有一種__（水果）”，模型就很容易蒙圈（在不允許 CoT 的情況下）。
模型規(guī)模與性能：雖然更大的模型在一些任務(wù)上表現(xiàn)更好，但它們的 “組合性差距” 往往更明顯，這表明增加模型規(guī)模并不能完全解決這個(gè)問(wèn)題。
圖 3 (a) 不同 LLM 在 GAR 上的表現(xiàn)。本圖比較了生成任務(wù)（Gen.）和分類任務(wù)（Cls.）的平均準(zhǔn)確率和正確答案的預(yù)測(cè)概率，隨著模型規(guī)模增大，準(zhǔn)確率和答案概率均呈正相關(guān)增長(zhǎng)
圖 3 (b 左) GPT-4 和 Vicuna-33B 在不同難度的生成式任務(wù)上的表現(xiàn)，通過(guò)增加非相同語(yǔ)義關(guān)系和引入否定語(yǔ)義變體調(diào)整任務(wù)難度；(c 中) 組合性差距隨模型規(guī)模的變化， Llama 系列模型隨規(guī)模增大而表現(xiàn)出更大的組合性差距，反映出 LLM 在組合關(guān)系推理中的不足；(d 右) 語(yǔ)法變化差距隨模型規(guī)模的變化，句法變體對(duì)模型性能影響較小，表明模型對(duì)語(yǔ)法變化的敏感性較低
GAR 任務(wù)還有個(gè)很有趣的特點(diǎn)：盡管它對(duì)最先進(jìn)的 LLM 都具有挑戰(zhàn)性，它對(duì)人類來(lái)說(shuō)卻非常簡(jiǎn)單：研究者評(píng)估，在具備必要知識(shí)（如國(guó)家 - 首都關(guān)系）的情況下，人類完成任務(wù)的準(zhǔn)確率超過(guò) 90%。并且通過(guò)實(shí)驗(yàn)表明，LLM 回答錯(cuò)誤并不是因?yàn)槿鄙龠@些事實(shí)性知識(shí)。這揭示了 LLM 在組合關(guān)系推理上存在某些根本性缺陷。
模型內(nèi)部的推理機(jī)制
為了更好地理解 LLM 如何解決 GAR 任務(wù)，研究者采用了歸因補(bǔ)丁（attribution patching）的方法。這種技術(shù)可以幫助發(fā)現(xiàn)模型在推理過(guò)程中依賴的關(guān)鍵計(jì)算單元，特別是某些注意力頭的作用。值得指出的是，這里無(wú)論任務(wù)難度、回路復(fù)雜度還是模型大小，都遠(yuǎn)超已有模型可解釋性工作。研究發(fā)現(xiàn)：
核心回路：Vicuna-33B 模型中存在一組通用的核心回路，能夠被不同任務(wù)重復(fù)利用。
注意力頭的作用：研究者識(shí)別出兩類關(guān)鍵注意力頭（True head 和 False head），它們的激活狀態(tài)分別表示抽象的 “真” 和 “假” 的概念。進(jìn)一步的實(shí)驗(yàn)表明，這些頭在不同任務(wù)和模型中都扮演了重要角色，是組合推理能力的基礎(chǔ)。
圖 4 (a 左) True head 子回路 (b 右) False head 子回路
圖 4 (c) 判別回路
圖 4 (d) 肯定式生成回路
圖 4 (e) 否定式生成回路
研究者發(fā)現(xiàn)，無(wú)論哪種回路，從更高的層次看，都包含我們稱之為 “relational loop” 的由注意力邊組成的閉環(huán)。這和構(gòu)造 GAR 任務(wù)時(shí)的關(guān)系環(huán)是一致的。研究者認(rèn)為正是這些閉環(huán)的存在保證了可預(yù)測(cè)性。
通過(guò)干預(yù)關(guān)鍵注意力頭提升 LLM 表現(xiàn)
注意到 True/False 頭在圖 4 的所有回路中都有出現(xiàn)并扮演了關(guān)鍵角色。為了驗(yàn)證 Vicuna 模型中的 True/False 頭的通用性和有效性，并探討其在不同模型規(guī)模上的一致性。研究者選擇了三個(gè)具有代表性的分類任務(wù)：由 GendersOfPersons 關(guān)系模式分別與 CountriesOfCities (CoC)、KindsOfThings (KoT) 和 UsagesOfThings (UoT) 三個(gè)關(guān)系模式組合作為數(shù)據(jù)源。首先，利用 attribution patching 識(shí)別不同規(guī)模的 Vicuna 模型（Vicuna-7B/13B/33B）的 True/False 頭。隨后，在模型推理過(guò)程中對(duì) True/False 頭進(jìn)行干預(yù)：當(dāng)答案為 Yes/No 時(shí)，對(duì) True/False 頭施加干預(yù)，同時(shí)屏蔽 False/True 頭，以觀察其對(duì)模型判斷的影響。
圖 5 (a 左) 干預(yù) Vicuna-7B 的 True / False heads 提升判別任務(wù)的準(zhǔn)確率，干預(yù)后模型準(zhǔn)確率分別提高了 17%/14%/6%，證明 True/False 頭在各個(gè)模型中均表現(xiàn)出一致的效果；(b 右) True / False heads 的激活區(qū)分真 / 假陳述，通過(guò)可視化 True 和 False 頭的激活值，發(fā)現(xiàn)它們有效地區(qū)分了真假語(yǔ)句。這表明，True/False 頭編碼了真假概念，并在 GAR 任務(wù)中起到了判斷語(yǔ)句真?zhèn)蔚年P(guān)鍵作用
研究意義
這項(xiàng)研究首次明確指出了 LLMs 在組合關(guān)系推理任務(wù)中的核心缺陷，并通過(guò)實(shí)驗(yàn)揭示了模型內(nèi)部的關(guān)鍵推理機(jī)制。這不僅加深了我們對(duì) LLMs 工作原理的理解，也為模型改進(jìn)提供了啟發(fā)和洞見(jiàn)。例如：
優(yōu)化注意力機(jī)制：通過(guò)改進(jìn)關(guān)鍵注意力頭的功能，可以顯著提升模型的推理能力，例如研究團(tuán)隊(duì)的 DCFormer 工作 [1] 的最早期想法就是分析 LLM 在類似 GAR 任務(wù)上的表現(xiàn)啟發(fā)而來(lái)的。。
設(shè)計(jì)更具多樣性的基準(zhǔn)：在真實(shí)世界任務(wù)中測(cè)試和改進(jìn)模型的組合推理表現(xiàn)。
參考文獻(xiàn)
[1] Da Xiao 1 Qingye Meng 2 Shengping Li 2 Xingyuan Yuan. Improving Transformers with Dynamically Composable Multi-Head Attention. ICML 2024.
THE END
轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)
