多年來，計(jì)算機(jī)科學(xué)家一直非常嚴(yán)格的視角看待人工智能。

當(dāng)人工智能系統(tǒng)學(xué)習(xí)新任務(wù)或信息時(shí)，它會覆蓋之前學(xué)到的一些內(nèi)容，這種現(xiàn)象被稱為“災(zāi)難性遺忘”。歷史上這個(gè)領(lǐng)域一直把這當(dāng)作一個(gè)缺陷，試圖用諸如存儲大量舊數(shù)據(jù)等變通方法來修補(bǔ)。

(相關(guān)資料圖)

但在發(fā)表于《機(jī)器學(xué)習(xí)基礎(chǔ)與趨勢》的一篇新專題論文中，萊斯大學(xué)商學(xué)院運(yùn)營管理助理教授劉岳陽與斯坦福大學(xué)的合著者提出，遺忘對人工智能而言并非單純的故障。在現(xiàn)實(shí)場景中，這類系統(tǒng)面臨著內(nèi)存與算力的硬性約束，它們不能、也不應(yīng)該試圖記住一切。

相反，人工智能應(yīng)該優(yōu)先考慮“持久知識”。

人工智能如何持續(xù)學(xué)習(xí)用戶

當(dāng)音樂應(yīng)用用戶30歲時(shí)，12歲時(shí)最喜歡的歌手是誰可能已經(jīng)無關(guān)緊要——至少對推薦新音樂的AI來說是這樣。更重要的是，傾聽中的模式很可能在未來依然適用。

圖源：news.rice.edu

研究人員稱之為“持久知識”：即信息能隨著時(shí)間保持有用的價(jià)值。為了保留這些知識的空間，系統(tǒng)必須丟棄過時(shí)或低價(jià)值的數(shù)據(jù)。

傳統(tǒng)機(jī)器學(xué)習(xí)通常假設(shè)訓(xùn)練最終會結(jié)束。在這些模型中，系統(tǒng)學(xué)習(xí)一個(gè)穩(wěn)定目標(biāo)——例如，一個(gè)訓(xùn)練用于識別照片中貓的圖像分析儀——一旦達(dá)到該目標(biāo)，訓(xùn)練就基本結(jié)束了。按照這個(gè)邏輯，災(zāi)難性的遺忘看起來就是災(zāi)難性的失敗。

但劉教授及其合著者的研究出發(fā)點(diǎn)截然不同：世界始終在變化，因此人工智能必須持續(xù)適應(yīng)才能保持效用。音樂或電影推薦系統(tǒng)不能假定用戶的品味一成不變，如果它停止更新對用戶的認(rèn)知，就會失去推薦價(jià)值，因此它必須持續(xù)探索。

“作為人類，我們不會記住過去的每一個(gè)細(xì)節(jié)。” 劉教授表示，“一個(gè)持續(xù)學(xué)習(xí)的系統(tǒng)也必須做出相似的取舍，判斷哪些信息值得留存?！?/p>

有限算力下的人工智能生存之道

為驗(yàn)證這一觀點(diǎn)，劉教授與同事開展了模擬實(shí)驗(yàn)，測試不同算法在計(jì)算資源有限的條件下隨時(shí)間推移的表現(xiàn)。

其中一項(xiàng)實(shí)驗(yàn)采用了改進(jìn)版的置換 MNIST基準(zhǔn)測試 —— 這是一套常用于手寫數(shù)字分類任務(wù)的通用測試基準(zhǔn)。在實(shí)驗(yàn)中，環(huán)境持續(xù)發(fā)生變化，迫使 AI 接連應(yīng)對不斷更迭的任務(wù)，而非專注于某一項(xiàng)固定任務(wù)。

研究人員比較了三種智能體：一種能夠保存100萬個(gè)過去樣本；一種限制為1000個(gè)樣本的小型智能體；以及一個(gè)“重置”智能體，其神經(jīng)網(wǎng)絡(luò)會定期被清除。

這些結(jié)果挑戰(zhàn)了該領(lǐng)域的一些常規(guī)假設(shè)。在不會重復(fù)出現(xiàn)的任務(wù)上，小內(nèi)存智能體的表現(xiàn)與大內(nèi)存智能體不相上下，說明留存一次性數(shù)據(jù)并無長期收益。即便重置型智能體，只要重復(fù)任務(wù)的持續(xù)時(shí)間足夠長，它也能通過重新學(xué)習(xí)掌握所需知識，跟上性能節(jié)奏。

最值得關(guān)注的是，當(dāng)研究人員施加更嚴(yán)格的算力限制時(shí)，大內(nèi)存系統(tǒng)的靈活性反而出現(xiàn)下降。它們遭遇了可塑性喪失問題：系統(tǒng)變得過于僵化，難以良好地吸收新信息。

劉說：“如果一個(gè)系統(tǒng)試圖保留一切，它可能會失去適應(yīng)能力?！薄霸谡鎸?shí)限制下，選擇性遺忘往往是讓學(xué)習(xí)成為可能的關(guān)鍵?！?/p>

另一組在類推薦場景下開展的模擬實(shí)驗(yàn)也得出了相似結(jié)論：優(yōu)先保留長期行為模式、而非短暫流行趨勢的智能體，長期獲得的獎(jiǎng)勵(lì)更高。

思考如何持續(xù)學(xué)習(xí)

這項(xiàng)研究為持續(xù)學(xué)習(xí)提供了一種更統(tǒng)一的思考方式，這一領(lǐng)域常被劃分為記憶保持、快速再學(xué)習(xí)或計(jì)算效率等更狹窄的問題。劉和她的合著者認(rèn)為，這些問題應(yīng)通過統(tǒng)一的持續(xù)學(xué)習(xí)框架進(jìn)行分析，以最大化在實(shí)際資源限制下的長期表現(xiàn)。

這一學(xué)科視角的轉(zhuǎn)變，也重新定義了災(zāi)難性遺忘的意義：留存所有過往信息并非最優(yōu)選擇，選擇性舍棄非重復(fù)性或低價(jià)值信息，或許正是幫助系統(tǒng)在漫長生命周期中持續(xù)學(xué)習(xí)的核心。

當(dāng)然，這套框架并不能解決所有實(shí)際挑戰(zhàn)。在復(fù)雜的現(xiàn)實(shí)環(huán)境中，精確的數(shù)學(xué)求解依然困難；而要實(shí)現(xiàn)更多能力，仍需要許多系統(tǒng)尚不具備的內(nèi)存與算力支撐。但這篇論文為后續(xù)研究奠定了更清晰的基準(zhǔn)。

對于研發(fā)終身學(xué)習(xí)人工智能的研究者而言，這意味著目標(biāo)或許不再是追求完美的記憶能力，而是實(shí)現(xiàn)出色的判斷力。一個(gè)智能的系統(tǒng)不需要記住多年前的每一個(gè)細(xì)節(jié)，它只需要留住仍有價(jià)值的內(nèi)容，放下其余的一切。

本文由雷科技編譯自news.rice.edu

原文鏈接：https://news.rice.edu/news/2026/build-lifelong-ai-teach-it-forget