作者 |
編輯 | 陳彩嫻
近日，劍橋?qū)W者在《美國(guó)科學(xué)院院報(bào)》（PNAS）上發(fā)表了一篇名為“The of and : On the of Deep and Smale's 18th ”的文章，提出了一個(gè)有趣的發(fā)現(xiàn)：
研究者可以證明存在具有良好近似質(zhì)量的神經(jīng)網(wǎng)絡(luò)，但不一定存在能夠訓(xùn)練（或計(jì)算）這類神經(jīng)網(wǎng)絡(luò)的算法。
這與圖靈的觀點(diǎn)相似：無(wú)論計(jì)算能力和運(yùn)行時(shí)間如何，計(jì)算機(jī)都可能無(wú)法解決一些問(wèn)題。也就是說(shuō)，哪怕再優(yōu)秀的神經(jīng)網(wǎng)絡(luò)，也可能無(wú)法對(duì)現(xiàn)實(shí)世界進(jìn)行準(zhǔn)確的描述。
不過(guò)，這并不表明所有的神經(jīng)網(wǎng)絡(luò)都是有缺陷的，而是它們僅僅在特定情況下才能達(dá)到穩(wěn)定和準(zhǔn)確的狀態(tài)。
研究團(tuán)隊(duì)通過(guò)引入一個(gè)經(jīng)典逆問(wèn)題，提出了一個(gè)分類理論，用來(lái)描述哪些神經(jīng)網(wǎng)絡(luò)可以通過(guò)算法進(jìn)行計(jì)算，對(duì)「人工智能可以做什么和不可以做什么」這一歷史性問(wèn)題給出了一個(gè)新的答案。
同時(shí)，他們開(kāi)發(fā)了一個(gè)新的模型——「快速迭代重啟網(wǎng)絡(luò)」（），能夠在應(yīng)用場(chǎng)景中同時(shí)保證神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和準(zhǔn)確性。一方面， 所計(jì)算的神經(jīng)網(wǎng)絡(luò)在對(duì)抗擾動(dòng)方面具有穩(wěn)定性，還能夠?qū)⒉环€(wěn)定的神經(jīng)網(wǎng)絡(luò)變得穩(wěn)定；另一方面，它在保持穩(wěn)定性的前提下還取得了高性能和低漏報(bào)率。
以下是對(duì)該工作的簡(jiǎn)單介紹：
1、研究背景
深度學(xué)習(xí) (DL) 取得了前所未有的成功，現(xiàn)在正全力進(jìn)入科學(xué)計(jì)算領(lǐng)域。然而，盡管通用的逼近特性可以保證穩(wěn)定的神經(jīng)網(wǎng)絡(luò) (NN) 的存在，但當(dāng)前的深度學(xué)習(xí)方法往往存在不穩(wěn)定性。這個(gè)問(wèn)題使得深度學(xué)習(xí)在現(xiàn)實(shí)生活中的落地充滿危險(xiǎn)。
比方說(shuō)，（Meta）和紐約大學(xué)于2019年的 挑戰(zhàn)賽中曾稱，在標(biāo)準(zhǔn)圖像質(zhì)量指標(biāo)方面表現(xiàn)良好的網(wǎng)絡(luò)容易出現(xiàn)漏報(bào)，無(wú)法重建微小但具有物理相關(guān)性的圖像異常。2020年 挑戰(zhàn)賽將重點(diǎn)放在病理上，又指出:「這種虛幻的特征是不可接受的，尤其如果它們模擬的是正常結(jié)構(gòu)，而這些結(jié)構(gòu)要么不存在，要么實(shí)際上是異常的，那就非常有問(wèn)題。正如對(duì)抗擾動(dòng)研究所證明的，神經(jīng)網(wǎng)絡(luò)模型可能是不穩(wěn)定的」。顯微鏡學(xué)中也存在類似的例子。
在不同的應(yīng)用場(chǎng)景中，對(duì)誤報(bào)率和漏報(bào)率的容忍度是不同的。對(duì)于具有高錯(cuò)誤分析成本的場(chǎng)景，必須避免這種誤報(bào)和漏報(bào)。因此，在醫(yī)療診斷等應(yīng)用場(chǎng)景中，人工智能的「幻覺(jué)」可能存在非常嚴(yán)重的危險(xiǎn)。
對(duì)于該問(wèn)題，經(jīng)典的近似定理表明，連續(xù)函數(shù)可以用神經(jīng)網(wǎng)絡(luò)很好地任意逼近。因此，用穩(wěn)定函數(shù)描述的穩(wěn)定問(wèn)題往往可以用神經(jīng)網(wǎng)絡(luò)穩(wěn)定地解決。這就產(chǎn)生了這樣一個(gè)基礎(chǔ)性問(wèn)題:
為什么有些場(chǎng)景已被證明存在穩(wěn)定、準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)還會(huì)出現(xiàn)不穩(wěn)定的方法和由 AI 生成的「幻覺(jué)」？
為了回答這個(gè)問(wèn)題，研究者們啟動(dòng)了研究，希望確定深度學(xué)習(xí)在逆問(wèn)題中所能達(dá)到的極限。
此外，深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)還存在穩(wěn)定性和準(zhǔn)確性的權(quán)衡問(wèn)題。穩(wěn)定性差是現(xiàn)代人工智能的致命弱點(diǎn)，這方面也有一個(gè)悖論：盡管存在穩(wěn)定的神經(jīng)網(wǎng)絡(luò)，但訓(xùn)練算法仍能發(fā)現(xiàn)不穩(wěn)定的神經(jīng)網(wǎng)絡(luò)。這個(gè)基礎(chǔ)性問(wèn)題與 Smale 在1998年就人工智能極限提出的第18個(gè)數(shù)學(xué)問(wèn)題有關(guān)。
計(jì)算穩(wěn)定的神經(jīng)網(wǎng)絡(luò)并不困難，例如，零網(wǎng)絡(luò)就是穩(wěn)定的，但它準(zhǔn)確度不高，因而不是特別有用。最大的問(wèn)題是：如何計(jì)算既穩(wěn)定又準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)？科學(xué)計(jì)算本身基于穩(wěn)定性和準(zhǔn)確性，然而，兩者之間往往存在取舍，有時(shí)必須犧牲準(zhǔn)確性以確保穩(wěn)定性。
2、分類理論：計(jì)算穩(wěn)定NN的算法的存在條件
針對(duì)上述問(wèn)題，作者團(tuán)隊(duì)提出了一種分類理論，描述了達(dá)到一定準(zhǔn)確度（且穩(wěn)定）的神經(jīng)網(wǎng)絡(luò)可以被算法計(jì)算的充分條件。
他們從一個(gè)線性方程組欠定系統(tǒng)的經(jīng)典逆問(wèn)題出發(fā)：
在這里，A∈Cm ×N 表示采樣模型（m < N），比如 MRI 中的下采樣離散傅里葉變換，x表示未知量。矢量 e 對(duì)噪聲或擾動(dòng)進(jìn)行建模。該方程 1 所展示的問(wèn)題是許多逆問(wèn)題和圖像分析的基礎(chǔ)。
基于定理1和定理2（定理詳情見(jiàn)論文），他們指出這樣一個(gè)悖論性問(wèn)題：
存在從訓(xùn)練數(shù)據(jù)到合適的神經(jīng)網(wǎng)絡(luò)的映射ai遇到未知的圖像結(jié)構(gòu)，但沒(méi)有訓(xùn)練算法（即使是隨機(jī)的算法）可以從訓(xùn)練數(shù)據(jù)中計(jì)算神經(jīng)網(wǎng)絡(luò)的近似值。
對(duì)此，該論文的其中一位作者做了一個(gè)類比：「可能存在一種蛋糕，但卻不存在制作它的配方」。他認(rèn)為ai遇到未知的圖像結(jié)構(gòu)，問(wèn)題不在于「配方」，而是在于制作蛋糕所必須的「工具」，有可能無(wú)論你使用什么攪拌機(jī)，都無(wú)法制作出想要的蛋糕，但在某些情況下，也有可能你自家廚房里的攪拌機(jī)就足夠了。
那么是在什么情況下呢？研究團(tuán)隊(duì)對(duì)計(jì)算神經(jīng)網(wǎng)絡(luò)的算法進(jìn)行了分類，解釋了什么條件下計(jì)算神經(jīng)網(wǎng)絡(luò)的算法才會(huì)存在（這也可以類比為：哪些蛋糕可以用具有物理設(shè)計(jì)可能性的攪拌機(jī)來(lái)制作）：
計(jì)算神經(jīng)網(wǎng)絡(luò)的算法是否存在取決于期望的精度。對(duì)于任意正整數(shù) K > 2 和 L，存在良態(tài)問(wèn)題類，同時(shí)有以下情況：
a）不存在隨機(jī)訓(xùn)練算法（即便是隨機(jī)的算法）能以超過(guò) 50% 的概率計(jì)算出具有 K 位精度的神經(jīng)網(wǎng)絡(luò)；
b）存在一種確定的訓(xùn)練算法，可以計(jì)算具有 K-1 位精度的神經(jīng)網(wǎng)絡(luò)，但需要大量的訓(xùn)練數(shù)據(jù)；
c）存在一種確定的訓(xùn)練算法，可以使用不超過(guò) L 個(gè)訓(xùn)練樣本計(jì)算具有 K-2 位精度的神經(jīng)網(wǎng)絡(luò)。
這表明，一些基礎(chǔ)性的、本質(zhì)性的障礙阻止了神經(jīng)網(wǎng)絡(luò)被算法計(jì)算。這也是為什么一些場(chǎng)景中存在穩(wěn)定而準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)，但深度學(xué)習(xí)仍會(huì)出現(xiàn)「幻覺(jué)」的原因。
3、：平衡穩(wěn)定性與準(zhǔn)確性
神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與準(zhǔn)確性之間存在權(quán)衡問(wèn)題，一個(gè)穩(wěn)定的神經(jīng)網(wǎng)絡(luò)在逆問(wèn)題中的性能表現(xiàn)往往是有限的。這在圖像重建中尤其突出，當(dāng)前深度學(xué)習(xí)重建圖像的方法會(huì)出現(xiàn)不穩(wěn)定性，這體現(xiàn)在：
這類線性逆問(wèn)題導(dǎo)致深度學(xué)習(xí)方法在穩(wěn)定性與準(zhǔn)確性之間的不平衡，使得任何圖像重建方法都無(wú)法在不犧牲準(zhǔn)確性的情況下保持較高的穩(wěn)定性，反之亦然。
為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)引入一種「快速迭代重啟網(wǎng)絡(luò)」（）。經(jīng)證明與數(shù)值驗(yàn)證， 十分穩(wěn)定。他們發(fā)現(xiàn)：在特定條件下，比如在 MRI中 ，有一些算法可以為方程1中的問(wèn)題計(jì)算穩(wěn)定的神經(jīng)網(wǎng)絡(luò)。
關(guān)鍵是，他們證明了 對(duì)擾動(dòng)具有魯棒性，甚至可用來(lái)使不穩(wěn)定的神經(jīng)網(wǎng)絡(luò)變得穩(wěn)定。
對(duì)擾動(dòng)具有魯棒性
在穩(wěn)定性測(cè)試中，團(tuán)隊(duì)將 與V. Antun等人（2020）開(kāi)發(fā)的網(wǎng)絡(luò)進(jìn)行對(duì)比。如下圖中的上行所示，網(wǎng)絡(luò)重建很不穩(wěn)定，導(dǎo)致圖像完全變形。下行則是使用網(wǎng)絡(luò)的重建結(jié)果。即使在最差的重建結(jié)果中，它仍然保持穩(wěn)定。
這證明了由算法所計(jì)算的神經(jīng)網(wǎng)絡(luò)在小波中稀疏的圖像中，在對(duì)抗擾動(dòng)方面具有穩(wěn)定性，而且同時(shí)能夠維持一定的準(zhǔn)確性。
的穩(wěn)定器作用
同時(shí)，也起到了一個(gè)穩(wěn)定器的作用。比如在下圖中，將來(lái)自的重建輸入到，結(jié)果顯示，修正了的輸出并將重建加以穩(wěn)定化。
在 的末端添加一些層使其穩(wěn)定。最左邊是的重建。左二是x0 = Ψ( ?y)的 的重建。右二是 ?y = Ax + e3時(shí) 的重建。最右邊是輸入 的測(cè)量值后的重建。
兼具穩(wěn)定性與準(zhǔn)確性
在下圖中，一個(gè)在包含橢圓形狀的圖像上訓(xùn)練的 U-Net 很穩(wěn)定，但是，當(dāng)添加一個(gè)原先不包含在訓(xùn)練集中的細(xì)節(jié)后，U-Net 的穩(wěn)定性就會(huì)受到極大影響。
性能有限的神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練是可以具有穩(wěn)定性的。三個(gè)重建網(wǎng)絡(luò)Φj : Cm → CN , j = 1, 2, 3。左列展示了一個(gè)經(jīng)裁剪的攝動(dòng)圖像x + wj （第二至四行）。中間一列（第二至四行）顯示了每一個(gè)網(wǎng)絡(luò)的重建圖像 Φj(A(x + wj)）。在右列，以“CCan u see it?”的文本形式測(cè)試了網(wǎng)絡(luò)對(duì)微小細(xì)節(jié)h1的重建能力。
可以看到，在有噪聲測(cè)量值條件下訓(xùn)練的網(wǎng)絡(luò)對(duì)于最壞情況下的擾動(dòng)保持穩(wěn)定，但并不準(zhǔn)確。相反，無(wú)噪聲訓(xùn)練的網(wǎng)絡(luò)是準(zhǔn)確的，但不穩(wěn)定。而實(shí)現(xiàn)了二者的平衡，對(duì)于小波稀疏且在最壞情況下的穩(wěn)定圖像來(lái)說(shuō)，它仍是準(zhǔn)確的。
但這并不是故事的結(jié)局，在現(xiàn)實(shí)生活中的應(yīng)用場(chǎng)景中，找出穩(wěn)定性與精度之間的最優(yōu)權(quán)衡是最重要的，這無(wú)疑需要無(wú)數(shù)種不同的技術(shù)來(lái)解決不同的問(wèn)題和穩(wěn)定性誤差。
參考鏈接：
/deep--:///doi/full/10.1073/pnas.本文來(lái)自于微信公眾號(hào)“AI科技評(píng)論”——“聚焦人工智能前沿研究，關(guān)注人工智能青年成長(zhǎng)。”AI科技評(píng)論是專注人工智能（AI）學(xué)術(shù)和科學(xué)前沿的平臺(tái)，前身是雷鋒網(wǎng)的學(xué)術(shù)頻道。歡迎搜索關(guān)注微信公眾號(hào)“AI科技評(píng)論”（ID：）了解更多相關(guān)報(bào)道。
