分不清9.9與9.11誰大？ 大模型數學能力堪憂

每經記者：可楊 每經編輯：樑梟

13.11%和13.8%哪個大？9.9和9.11哪個大？

兩道小學數學難度的題目難倒了衆多主流大模型，在比大小的過程中，不少大模型給出了錯誤的答案。此外，此前《每日經濟新聞》發佈的《每日經濟新聞大模型評測報告（第1期）》中，主流大模型被要求計算企業營業收入複合增長率時，沒有一家大模型計算出正確答案。

7月17日，有大模型企業人士向記者表示，對於大模型而言，這不是很難解決的技術問題，只要“喂”了這方面的數據，就能得到準確的答案，只不過大部分的大模型廠商沒有把這方面的訓練作爲重心，所以可能會出現上述不準確的回答。

大模型比大小“翻車”

由綜藝節目《歌手2024》排名引發的熱議蔓延到了大模型領域，也成了一場針對大模型數學能力的小測。

在《每日經濟新聞》記者7月17日的測試中，對於13.11%與13.8%誰大的問題，除了智譜清言外，文心一言、通義千問、Kimi、商湯商量、百川智能百小應等大模型均給出了正確回答。

大部分大模型都在給出答案的同時呈現了推理過程。智譜清言給出的推理過程顯示，在比較13.11%和13.8%時，13.11%是更大的數值。這是因爲當比較兩個百分數時，首先比較整數部分，如果它們相同，則比較小數部分。在這裡，兩個數的整數部分都是13，但13.11的小數部分11大於13.8的小數部分8，因此13.11%大於13.8%。

從推理過程判斷，可能由於小數點後數位不同，大模型在比較過程中產生了幻覺。經過兩輪提問後，智譜清言給出了正確回答。

當記者把問題換成“9.9與9.11誰大”，零一萬物的萬知大模型等同樣在一開始給出了錯誤答案，當記者進一步追問“9.11減9.9等於多少”，甚至有大模型給出了“0.21”的答案。

萬知大模型的推理過程稍顯混亂：在比較9.9和9.11時，由於整數部分都是9，所以比較小數點後的第一位數字。9.9的小數點後第一位是9，而9.11的小數點後第一位是1。由於9小於10，所以在比較小數點後第二位數字時，9.9的小數點後第二位是0（隱含的），而9.11的小數點後第二位是1。因此，9.9的小數點後第二位數字（隱含的0）小於9.11的小數點後第二位數字（1），所以9.9小於9.11。

隨後，記者向大模型提問：爲何會出現有大模型認爲13.11大於13.8的情況？

ChatGPT給出的回答顯示，出現這種情況的原因可能是由於計算或比較方式的錯誤。可能的誤差原因包括：數值理解錯誤，有時系統可能會誤解數字的小數點位置；字符串比較，如果直接按字符串比較，可能會出現錯誤。因爲字符串比較是按字符順序逐一比較的，而不是按數值比較；代碼實現錯誤，在編程中，可能存在比較邏輯或轉換錯誤。

文心一言給出的解答則是，訓練數據偏差、輸入處理與理解、模型幻覺、推理能力不足等原因。訓練數據偏差層面，即大模型在訓練過程中，可能接觸到了大量包含數字的數據，但這些數據並不總是以比較大小爲目的。例如，數字可能出現在版本號、股票代碼、基金表現、匯率等上下文中，這些場景下的數字大小並不總是具有直接的比較意義。如果訓練數據中存在關於數字比較的偏差或不足，模型可能無法學習到正確的比較規則。

另一方面，可能由於大模型在處理輸入文本時，將數字視爲字符序列，而不是具有數值意義的實體。因此，在比較數字大小時，模型可能沒有正確地將其轉換爲數值進行比較。另外，模型在處理小數時可能存在困難，特別是當小數位數不同時。模型可能沒有正確地理解小數部分的比較規則。

這個問題不難解決

7月17日，有大模型企業人士在接受記者電話採訪時表示，對於大模型而言，這不是很難解決的技術問題，只要“喂”了這方面的數據，其實就能得到準確的答案，只不過大部分的大模型廠商沒有把這方面的訓練作爲重心，所以可能會出現上述不準確的回答。

這也並非大模型的數學能力首次受到關注。

6月，上海人工智能實驗室通過旗下司南評測體系OpenCompass對7個大模型進行高考“語數外”全卷能力測試。測試結果顯示，三科總分420分，大模型最高分僅303分，其中語文、英語表現相對良好，數學全不及格。

在此前《每日經濟新聞》發佈的《每日經濟新聞大模型評測報告（第1期）》中，對主流大模型的財務數據計算和分析能力同樣進行了測評。在財務數據計算中，當被要求計算營業收入複合增長率時，沒有一家大模型計算出正確答案。

綜 合 來 看 ，Anthropic Claude 3 Opus表現最爲出色，以總分136分高居榜首。該模型在計算題的任務一（同比增長率計算）和任務二（毛利率計算）中均獲得了較高的分數，但在任務三（複合增長率計算）中未能給出正確答案。

幻方求索DeepSeek-V2是“財務數據計算和分析”場景評測中的一匹“黑馬”，以總分133.4分位列第二。該模型在計算題的任務一和任務二中同樣表現良好，但在任務三中也未能給出正確答案。不過，在計算複合增長率的任務中，儘管其答案有誤，但已掌握了正確的公式。

零一萬物Yi-Large的總分達到了126.4分，該模型儘管“分析寫作題”得分略遜一籌，但在計算題的任務一和任務二中表現穩定。該模型在計算複合增長率時，同樣給出了錯誤答案，但也給出了正確的公式。