對(duì)抗性攻擊的原理簡(jiǎn)介

由于機(jī)器學(xué)習(xí)算法的輸入形式是一種數(shù)值型向量（numeric vectors），所以攻擊者就會(huì)通過(guò)設(shè)計(jì)一種有針對(duì)性的數(shù)值型向量從而讓機(jī)器學(xué)習(xí)模型做出誤判，這便被稱為對(duì)抗性攻擊。和其他攻擊不同，對(duì)抗性攻擊主要發(fā)生在構(gòu)造對(duì)抗性數(shù)據(jù)的時(shí)候，該對(duì)抗性數(shù)據(jù)就如正常數(shù)據(jù)一樣輸入機(jī)器學(xué)習(xí)模型并得到欺騙的識(shí)別結(jié)果。

什么是對(duì)抗樣本？

這些數(shù)據(jù)樣本看起來(lái)像正常樣本，但以某種方式受到干擾以欺騙機(jī)器學(xué)習(xí)系統(tǒng)。例如在給定的圖像中，并非所有像素都具有相同的重要性，如果可以識(shí)別最重要的像素（用于 ML 系統(tǒng)做出分類決策）并更改它們，那么算法決策也會(huì)發(fā)生變化，樣本的結(jié)果也會(huì)發(fā)生變化，但是從肉眼看起來(lái)它還是正常的。

右邊的熊貓?jiān)诩尤雽?duì)抗性噪聲后看起來(lái)仍然像熊貓，但現(xiàn)在它會(huì)被原來(lái)的分類器分類到一個(gè)完全不同的類中。

所有圖片都可以通過(guò)這樣一種方式受到干擾，以至于所有的圖片都被預(yù)測(cè)為一架飛機(jī)。

為什么會(huì)發(fā)生對(duì)抗性攻擊？

在我們指出它們發(fā)生的原因之前，我們?cè)俅螐?qiáng)調(diào)無(wú)論是邏輯回歸、softmax 回歸、SVM、決策樹、最近鄰還是深度學(xué)習(xí)模型，沒(méi)有任何 ML 算法可以免受對(duì)抗性攻擊。對(duì)抗性示例的發(fā)生是因?yàn)橄到y(tǒng)中的excessive linearity（過(guò)度線性？）造成的。你可能認(rèn)為深度學(xué)習(xí)很容易形成非線性決策邊界，是的整體上是這樣的，但幾乎每一個(gè)深度學(xué)習(xí)架構(gòu)都是分段線性的（想想激活函數(shù)）。所以當(dāng)一個(gè)點(diǎn)靠近線性邊界時(shí)，即使是少量的噪聲也能將其推到?jīng)Q策邊界的另一側(cè)。從下圖中還可以看到，在實(shí)踐中深度學(xué)習(xí)分類器具有非常線性的響應(yīng)。

深度學(xué)習(xí)架構(gòu)是分段線性的

通常這些類的類間距離很小，因此使用快速符號(hào)梯度法FGSM(Fast Gradient Sign Method)可以輕松更改給定對(duì)象的類。FGSM通過(guò)向圖像添加線性量的不可感知噪聲并導(dǎo)致模型對(duì)其進(jìn)行錯(cuò)誤分類。這個(gè)噪聲是通過(guò)將梯度的符號(hào)與我們想要擾動(dòng)的圖像乘以一個(gè)小的常數(shù) epsilon 來(lái)計(jì)算的。隨著 epsilon 的增加模型更有可能被愚弄，但擾動(dòng)也變得更容易識(shí)別。對(duì)抗噪聲可能看起來(lái)像隨機(jī)噪聲，但它肯定不是。它會(huì)根據(jù)像素在最終分類結(jié)果中的重要性，為每個(gè)像素添加不同數(shù)量的噪聲。

它們?nèi)绾伪挥脕?lái)破壞機(jī)器學(xué)習(xí)系統(tǒng)?

Andrej karpathy在他的論文中展示了如何打破ImageNet數(shù)據(jù)集上的線性分類器。但這并不僅限于圖像，甚至可以欺騙表格數(shù)據(jù)，這在金融領(lǐng)域是非常致命的。對(duì)抗性攻擊是我們不信任自治系統(tǒng)（autonomous system）的原因。我們需要能夠處理噪音并能在不同環(huán)境中保持穩(wěn)定的系統(tǒng)。

對(duì)抗性魯棒性工具集（ART）是用于機(jī)器學(xué)習(xí)安全性的Python庫(kù)。ART提供的工具可 幫助開(kāi)發(fā)人員和研究人員針對(duì)以下方面捍衛(wèi)和評(píng)估機(jī)器學(xué)習(xí)模型和應(yīng)用程序：逃逸，數(shù)據(jù)污染，模型提取和推斷的對(duì)抗性威脅，有興趣的可以看看。

https://github.com/Trusted-AI/adversarial-robustness-toolbox

對(duì)抗樣本非常危險(xiǎn)的另一個(gè)關(guān)鍵領(lǐng)域是人工智能醫(yī)療。僅 5 個(gè)像素就足以使模型變得毫無(wú)用處， 這表明模型不是整體的，并且以完全錯(cuò)誤的方式在查看數(shù)據(jù)。盡管從結(jié)果來(lái)看它看起來(lái)很聰明，但在所有結(jié)果的背后只是一種數(shù)字運(yùn)算技術(shù)并且缺乏上下文的支持，這就是為什么對(duì)抗性攻擊的風(fēng)險(xiǎn)如此之高。

有哪些防御措施？

正如我們之前確定的那樣，對(duì)抗樣本的存在是因?yàn)橄到y(tǒng)中的線性度，如果我們能以某種方式減少這種線性度會(huì)怎樣。先談?wù)?VC維(Vapnik–Chervonenkis dimension),vc理論（Vapnik–Chervonenkis theory ）是由 Vladimir Vapnik 和 Alexey Chervonenkis發(fā)明的，該理論試圖從統(tǒng)計(jì)學(xué)的角度解釋學(xué)習(xí)的過(guò)程。而VC維是VC理論中一個(gè)很重要的部分。對(duì)一個(gè)指示函數(shù)集,如果存在h個(gè)樣本能夠被函數(shù)集中的函數(shù)按所有可能的2^h種形式分開(kāi),則稱函數(shù)集能夠把h個(gè)樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h.若對(duì)任意數(shù)目的樣本都有函數(shù)能將它們打散,則函數(shù)集的VC維是無(wú)窮大. VC維反映了函數(shù)集的學(xué)習(xí)能力,VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大).學(xué)習(xí)能力越強(qiáng)。

現(xiàn)在，你是否知道一種具有非常高 VC 維度的算法，這意味著它可以在非常高的維度上分離點(diǎn)？我所知道的唯一算法是 SVM 的高斯或 RBF 核，它的 VC 維數(shù)為無(wú)窮大，這意味著理論上它甚至可以在神經(jīng)網(wǎng)絡(luò)無(wú)法做到的無(wú)窮維中分離點(diǎn)。正是因?yàn)檫@個(gè)原因，RBF-SVM 對(duì)對(duì)抗樣本具有魯棒性。對(duì)于除 RBF-SVM 之外的任何其他分類器，研究人員都可以生成任何被預(yù)測(cè)為 0、1、2….、9 的數(shù)字并且無(wú)論從人還是從機(jī)器角度看輸入中也沒(méi)有任何明顯的噪聲。下圖顯示，當(dāng)他們嘗試為 RBF-SVM 生成對(duì)抗樣本時(shí)，數(shù)字實(shí)際上發(fā)生了很大變化。RBF-SVM 將數(shù)據(jù)推向無(wú)限維度，因此每個(gè)類之間的類間距離很大。

對(duì)于神經(jīng)網(wǎng)絡(luò)，可以使用對(duì)抗性示例訓(xùn)練網(wǎng)絡(luò)，這往往會(huì)增加網(wǎng)絡(luò)的魯棒性。對(duì)抗訓(xùn)練提供正則化和半監(jiān)督學(xué)習(xí) ,下圖顯示了對(duì)抗樣本訓(xùn)練的性能提升。其他想法是訓(xùn)練模型使其不可微。此外對(duì)抗性攻擊不會(huì)因?yàn)閭鹘y(tǒng)的正則化技術(shù)而消失。

以下都是對(duì)于對(duì)抗性攻擊沒(méi)有任何作用的一些方法

最初研究人員認(rèn)為GAN可以解決這個(gè)問(wèn)題，他們認(rèn)為如果我們知道輸入的真實(shí)分布，我們就可以避免這個(gè)問(wèn)題，但事實(shí)證明，識(shí)別對(duì)抗樣本仍然非常困難。看看下面的圖片，一組是好的，另一組是壞的，但是對(duì)人類的眼睛來(lái)說(shuō)，它們看起來(lái)是一樣的。

線性模型:支持向量機(jī)/線性回歸不能學(xué)習(xí)階躍函數(shù)，所以對(duì)抗訓(xùn)練的用處不大，作用非常類似于權(quán)值衰減

k-NN:對(duì)抗訓(xùn)練容易過(guò)度擬合。

結(jié)論

神經(jīng)網(wǎng)絡(luò)實(shí)際上可以變得比其他模型更安全。對(duì)抗性訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在任何機(jī)器學(xué)習(xí)模型的對(duì)抗性示例上都具有最佳的經(jīng)驗(yàn)成功率。

對(duì)抗訓(xùn)練提供正則化和半監(jiān)督學(xué)習(xí)

進(jìn)攻很簡(jiǎn)單

防守很困難