對于 ChatGPT 變笨原因,，學術界又有了一種新解釋,。

加州大學圣克魯茲分校一項研究指出：

在訓練數(shù)據截止之前的任務上,，大模型表現(xiàn)明顯更好。

論文重點研究了“任務污染”問題,，也就是大模型在訓練時期就見識過很多任務示例,，給人一種 AI 擁有零樣本或少樣本能力的錯誤印象。

也有學者從另一個角度指出，大模型訓練后參數(shù)凍結,，人們不斷提出新的任務也就是輸入分布不斷變化,。如果模型不能不斷適應這種變化，就表現(xiàn)成能力慢慢退化,。

人們以為只提了個問題 AI 就能回答,，其實是在訓練時見過大多數(shù)常見任務。

隨時間推移,，人們開始提出更多新問題,，AI 表現(xiàn)就不行了。

比如對于代碼問題,，編程語言還在持續(xù)發(fā)展變化,，遲早有一天效率會低到不可接受。

這是所有不具備持續(xù)學習能力模型的命運,。

任務污染有多嚴重,？

研究團隊一共評估了 12 種模型，從 ChatGPT 之前的 GPT-3 系列,、OPT,、Bloom，到最新的 GPT-3.5-turbo,、羊駝家族 Llama,、Alpaca 和 Vicuna 等。

它們都存在類似問題,，也就是在訓練截止之前的任務上表現(xiàn)明顯更好,。

評估任務污染非常困難，閉源模型根本不會公布訓練數(shù)據,，大多數(shù)開源模型也只是聲明了來源,，而不發(fā)布數(shù)據本身。

如果研究者重新爬取互聯(lián)網數(shù)據,，也有可能與模型訓練時相比發(fā)生了變化,。

對此，團隊采用 4 種方法來測量任務污染程度：

檢查訓練數(shù)據：直接搜索有沒有相應的任務示例

在開源模型 Alpaca 和 Vicuna 上,，存在訓練數(shù)據污染的任務表現(xiàn)就比原版 Llama 更好的趨勢明顯,。

提取任務示例：通過調整提示詞，讓模型自己把訓練數(shù)據中的任務示例背出來

從 GPT-3 davinci-001 版本到 GPT-3.5-Turbo,，這個問題越來越嚴重了,。

圖中 X 代表模型復述出了訓練數(shù)據中的原始任務示例，綠色代表經過指令微調的模型沒有復述訓練數(shù)據,。

灰色代表未經過指令微調的模型無法根據提示詞指示復述訓練數(shù)據,，但不代表問題不存在,。

成員推斷（只適用于生成任務）：檢查模型生成的答案是否與原始數(shù)據完全相同

按時間順序分析：對于已知訓練數(shù)據收集時間的模型，測量已知發(fā)布時間數(shù)據集上的表現(xiàn)并使用按時間順序的證據檢查數(shù)據污染證據

前三種方法精度較高,，但召回率較低,。如果在任務的訓練數(shù)據中找到數(shù)據，則可以肯定它已經看到了示例,。

但由于數(shù)據格式的變化,、關鍵字的變化以及數(shù)據集的大小，使用前三種方法沒有找到證據并不意味著數(shù)據污染不存在,。

第四種方法召回率高但精度低,，容易受干擾因素影響。

特別是對于 GPT-3 系列,，目前人們假設其能力提高來自于指令微調,，但研究團隊認為事實并非如此。

雖然在 2021 年之前的數(shù)據集上,，davinci-002 比 davinci-001 的性能有所提高,，但在 2021 年之后的數(shù)據集上性能卻相應下降，

通這表明 GPT-3 系列的指令微調只適用于某些早期數(shù)據集,。

最后團隊的結論為：

由于任務污染,，閉源模型可能會在零樣本或少樣本評估中表現(xiàn)的比實際好，特別是經過 RLHF 微調的模型,。污染的程度仍不清楚,，因此我們建議謹慎行事。

在實驗中,，對于沒有任務污染可能性的分類任務,，大模型很少在零樣本和少樣本設置中表現(xiàn)出相對于大多數(shù)基線具有統(tǒng)計學意義的顯著改進。

隨著時間推移,，觀察到 GPT-3 系列模型在許多下游任務的零樣本或少樣本性能有所增加,，這可能是由于任務污染造成的。

即使對于開源模型,，檢查訓練數(shù)據的任務污染也很困難。

鼓勵公開發(fā)布訓練數(shù)據,，以便檢查任務污染問題,。