IT之家 10 月 12 日消息,近年來,人工智能(AI)在各個(gè)領(lǐng)域取得了顯著的進(jìn)展,其中大型語言模型(LLM)能夠生成人類水平的文本,甚至在某些任務(wù)上超越人類的表現(xiàn)。然而,研究人員對(duì) LLM 的推理能力提出了質(zhì)疑,他們發(fā)現(xiàn)這些模型在解決簡(jiǎn)單的數(shù)學(xué)問題時(shí),只要稍加改動(dòng),就會(huì)犯錯(cuò)誤,這表明它們可能并不具備真正的邏輯推理能力。
圖源 Pexels周四,蘋果公司的一組研究人員發(fā)布了一篇名為《理解大型語言模型中數(shù)學(xué)推理的局限性》的論文,揭示 LLM 在解決數(shù)學(xué)問題時(shí)容易受到干擾。IT之家注意到,研究人員通過對(duì)數(shù)學(xué)問題的微小改動(dòng),例如添加無關(guān)的信息,來測(cè)試 LLM 的推理能力。結(jié)果發(fā)現(xiàn),這些模型在面對(duì)這樣的變化時(shí),其表現(xiàn)急劇下降。
例如,當(dāng)研究人員給出一個(gè)簡(jiǎn)單的數(shù)學(xué)問題:“奧利弗星期五摘了 44 個(gè)奇異果,星期六摘了 58 個(gè)奇異果。星期日,他摘的奇異果是星期五的兩倍。奧利弗一共摘了多少個(gè)奇異果?”時(shí),LLM 能夠正確地計(jì)算出答案。然而,當(dāng)研究人員添加一個(gè)無關(guān)的細(xì)節(jié),“星期日,他摘的奇異果是星期五的兩倍,其中 5 個(gè)比平均校”時(shí),LLM 的回答卻出現(xiàn)了錯(cuò)誤。例如,GPT-o1-mini 的回答是:“... 星期日,其中 5 個(gè)奇異果比平均校我們需要從星期日的總數(shù)中減去它們:88(星期日的奇異果) - 5(較小的奇異果) = 83 個(gè)奇異果。”
上面只是一個(gè)簡(jiǎn)單的例子,研究人員修改了數(shù)百個(gè)問題,幾乎所有問題都導(dǎo)致模型的回答成功率大幅下降。
研究人員認(rèn)為,這種現(xiàn)象表明 LLM 并沒有真正理解數(shù)學(xué)問題,而是僅僅根據(jù)訓(xùn)練數(shù)據(jù)中的模式進(jìn)行預(yù)測(cè)。但一旦需要真正的“推理”,例如是否計(jì)算小的奇異果,它們就會(huì)產(chǎn)生奇怪的、不合常理的結(jié)果。
這一發(fā)現(xiàn)對(duì) AI 的發(fā)展具有重要的啟示。雖然 LLM 在許多領(lǐng)域表現(xiàn)出色,但其推理能力仍然存在局限性。未來,研究人員需要進(jìn)一步探索如何提高 LLM 的推理能力,使其能夠更好地理解和解決復(fù)雜的問題。