一種改進的可遷移深度學習模型*

摘 要：本文設計了一種改進的可遷移深度學習模型。該模型能夠在離開可靠的訓練環(huán)境（其中存在標簽）并被置于純粹的無標簽數(shù)據(jù)的領域時，輸出依然可以持續(xù)得到改善，這種訓練方式可以降低對監(jiān)督學習的依賴程度。

關鍵詞：可遷移；深度學習；無標簽

*基金項目：湖南省教育廳科學研究課題“基于深度學習的智能無人機目標檢測算法研究”(20C0105)；

湖南省自然科學基金項目《基于高光譜特征信息融合的油菜籽品質(zhì)參數(shù)反演與建?！罚?021JJ60093）；

校級培育項目“基于深度學習的目標檢測算法研究”(22mypy15)

1 引言

隨著深度學習的發(fā)展，深度卷積神經(jīng)網(wǎng)絡在圖像識別上取得了很大突破 , 基于深度學習的圖像識別方法避免了傳統(tǒng)圖像處理時最費時費力的特征提取部分，設計者只需要關注網(wǎng)絡結構的設計，網(wǎng)絡自動提取的特征越好，圖像分類的準確率就越高。然而，上述分類模型的訓練都需要帶大量標簽圖像樣本作為訓練集，模型的性能嚴重依賴標簽圖像數(shù)據(jù)集的質(zhì)量和規(guī)模，人工標簽大量圖像數(shù)據(jù)集的成本高 ^[1]；面對互聯(lián)網(wǎng)上出現(xiàn)的海量圖像，圖像標簽的難度大大增加。為了提高數(shù)據(jù)分析的精度，深度學習技術的應用需要大量計算，由于模型結構越來越復雜，計算量成指數(shù)增長 ^[2]，如何優(yōu)化深度學習的神經(jīng)網(wǎng)絡模型是需要著重解決的問題。

2 基于弱監(jiān)督的可遷移深度學習模型設計

與控制算法類似，有監(jiān)督的深度學習算法 ^[3] 通過一個目標函數(shù)利用反饋。這個目標函數(shù)的輸出作為輸入（或“控制信號”）給反向傳播進行自我修正。我們解決的主要問題是為深度學習算法找到一種方法，當它進入可靠的訓練環(huán)境（其中存在標簽），遇到純粹的無標簽數(shù)據(jù)的區(qū)域時，還能繼續(xù)改善其輸出。在這種環(huán)境中，機器必須減少對監(jiān)督的依賴。因此我們設計了一種基于弱監(jiān)督的可遷移學習模型。此模型是將一個預先訓練好的模型用于另一個學習任務的過程（可能是在一個不同的、 不相關的區(qū)域）。這樣在一個新的數(shù)據(jù)集上完全訓練一個模型所需的計算時間和數(shù)據(jù)就會大大減少。預訓練網(wǎng)絡中的多個低層可以重新應用于另一個數(shù)據(jù)集，在那里它們可以重新得到訓練。在重新訓練的過程中，預訓練模型的最后一層可以針對新的數(shù)據(jù)集進行微調(diào)。

基于弱監(jiān)督的可遷移學習模型的核心在于數(shù)據(jù)的導入和在神經(jīng)網(wǎng)絡中的循環(huán)方法。收集高質(zhì)量和足夠大的真實世界數(shù)據(jù)集來進行訓練，具有挑戰(zhàn)性并且高耗時。本學習模型通過要求一個相對較小的數(shù)據(jù)集來減輕這一負擔，并以有效的方式使用該數(shù)據(jù)集來改進模型。基于弱監(jiān)督可遷移深度學習模型的數(shù)據(jù)流圖如圖 1 所示。

對于復雜的數(shù)據(jù)集或有相似數(shù)據(jù)的數(shù)據(jù)集，基于弱監(jiān)督的可遷移學習是一種初始化神經(jīng)網(wǎng)絡的有效方法，并使其有更大的機會獲得更高的初始精度。初始生成的第 0 代數(shù)據(jù)集可以用小規(guī)模的數(shù)據(jù)點組成，這些數(shù)據(jù)點會被標注標簽。由機器讀取原始的、未標記的數(shù)據(jù)被分割成適當大小的可用處理模塊，以滿足可用的處理能力。然后將相似的每一組數(shù)據(jù)集都假定為有效的數(shù)據(jù)，分批送入神經(jīng)網(wǎng)絡。直觀地說，原始的、無標簽的數(shù)據(jù)由神經(jīng)網(wǎng)絡處理，用來確定每個數(shù)據(jù)點的標簽。一旦這個新數(shù)據(jù)被標記，符合預定義標簽的數(shù)據(jù)點就會與第 0 代數(shù)據(jù)相結合。然后，模型在新一代數(shù)據(jù)集上進行訓練。這種數(shù)據(jù)融合對于模型的整體改進能力至關重要，測試產(chǎn)生的結果優(yōu)于不加區(qū)分地處理所有未標注的數(shù)據(jù)。一旦創(chuàng)建了新一代的數(shù)據(jù)集，它就會被流回，用更大、更準確、更強大的標簽數(shù)據(jù)集合重新調(diào)整模型。這個過程將重復進行，使模型得到改善，使得數(shù)據(jù)集得到增長?？蛇w移學習模型使用一個 CNN（卷積神經(jīng)網(wǎng)絡），這個 CNN 很簡單：它由兩個卷積層組成，每個卷積層都被重新激活。卷積層之后是一個 2×2 的最大池子層，反過來又反饋到一個全連接的、重新激活的層，然后分配一個 softmax 分類器。

為了提高代碼的速度和避免用可能的錯誤預測來稀釋訓練集，模型預測每批數(shù)據(jù)的標簽，并在由第 0 代數(shù)據(jù)和新預測的數(shù)據(jù)合成的訓練集中進行訓練。附加的預測被存儲在一個先進先出（FIFO）的隊列式數(shù)據(jù)結構中。這樣一來，模型對以前樣本的記憶和訓練，在新的批次出現(xiàn)之前至少會停留幾個迭代。同時，預置的第 0 代數(shù)據(jù)仍然是永久性的，每次迭代代碼都會將第 0 代和隊列的內(nèi)容一起進行訓練。學習循環(huán)的另一個關鍵點是其不確定性的樣本提取。在 FIFO 隊列中預測的上一批訓練數(shù)據(jù)追加到第 0 代之前，代碼會檢查每個樣本的前兩個標簽的概率。如果一個樣本的前兩個標簽概率相同或在一定范圍內(nèi)，那么在追加到 0 代之前，該樣本將從訓練集中提取出來。在這些情況下，附加的批次較?。惶崛『罅粝碌目瞻讻]有被新的數(shù)據(jù)重新填補。因此，該模型避免了在不確定的預測上進行訓練。這已被證明可以提高平均和最大的訓練精度?；谌醣O(jiān)督的可遷移深度學習的算法如圖 2 所示。

圖2 基于弱監(jiān)督的可遷移深度學習的算法

3 實驗測試

MNIST 數(shù)據(jù)集是由 LeCun 等人開發(fā)的，用于評估手寫數(shù)字分類問題的機器學習模型 ^[4]。該數(shù)據(jù)集是由美國國家標準與技術研究所（NIST）提供的一些掃描文件數(shù)據(jù)集構建的。數(shù)字的圖像取自各種掃描文件，尺寸標準化并居中。該數(shù)據(jù)集已被研究人員廣泛使用，因此可以對性能進行明確的衡量。這使得它成為評估模型的優(yōu)秀數(shù)據(jù)集，使開發(fā)者能夠?qū)Ｗ⒂跈C器學習 ^[5]。數(shù)據(jù)集中每張圖片是一個 28×28 像素的正方形。一個標準的分割數(shù)據(jù)集被用來評估和比較模型，其中 10 000 張圖片被用來訓練一個模型，另一組 5 000 張圖片被用來測試。

圖3 載入MNIST數(shù)據(jù)集的樣本圖像

基于弱監(jiān)督的可遷移學習模型測試從加載 MNIST 數(shù)據(jù)集開始。數(shù)據(jù)被分流到兩個不同的類別：小于 5 的數(shù)字（L5）和大于或等于 5 的數(shù)字（G5）。L5 數(shù)據(jù)集用于預訓練模型的權重；然后這些權重將被轉(zhuǎn)移到模型上，該模型將不斷學習如何標記 G5 數(shù)字。在轉(zhuǎn)移了基于 L5 的權重后，代碼首次將模型引入一小批 G5 數(shù)據(jù)中。將這批初始數(shù)據(jù)的規(guī)模定在 200 個左右，這是讓模型對 G5 數(shù)字有必要的認識和理解的最小數(shù)量。該模型在這些數(shù)字的原始、正確的標簽上進行訓練。這個由 300 個 樣本組成的原始數(shù)據(jù)集連同其標簽被稱為第 0 代。這就是持續(xù)學習的開始。一旦模型對數(shù)據(jù)集有了一些了解，代碼就會進入一個循環(huán)，其中模型會處理一批又一批原始的、沒有標簽的數(shù)據(jù)。模型預測每批數(shù)據(jù)的標簽，并在由第 0 代樣本和新猜測的樣本組成的聯(lián)合訓練集中進行訓練。學習循環(huán)的下一次迭代將下一批 G5 數(shù)據(jù)追加到這個訓練集上。一個小的初始數(shù)據(jù)集可以在其整個運行過程中進行訓練。迄今為止改進最大的遷移學習方法使用了 35 代，初始 0 代大小為 100 張圖像，隨后幾代的數(shù)據(jù)子集為 400 張圖像。同時將此算法在 CIFAR-10 數(shù)據(jù)集上進行訓練，圖 4 顯示在兩個數(shù)據(jù)集上訓練的準確率。

圖4 基于弱監(jiān)督的可遷移學習模型測試準確率圖

如圖 4 所示，每一代初始模型的測試準確率開始為 56.70%，但在進行了 35 代遷移學習后，模型的準確率提高到 92.5%。而且在 CIFAR-10 數(shù)據(jù)集的準確率也由最初的 49% 提升到 91.2%。實驗證明了一個小的初始數(shù)據(jù)集可以用來創(chuàng)建一個隨著時間推移不斷改進和學習的模型。

4 結論

本文的研究表明，在一個相對較小的、初始標記的圖像數(shù)據(jù)集的情況下，可以采用一個改進的弱監(jiān)督可遷移學習模型，該模型可以通過一些未標記的圖像來改進自己，節(jié)省初始數(shù)據(jù)集的訓練時間。由于該模型開始時的準確度相對較低，只有在更多的無標簽數(shù)據(jù)集中才能得到改善，因此系統(tǒng)必須能夠在模型有時間改善之前處理不合格的標簽數(shù)據(jù)。

參考文獻：

[1] 周強.面向圖像分類的遷移學習算法研究[D].北京:北京郵電大學,2021.

[2] 魏文怡.基于深度學習的無人機目標識別方法研究[D].南京:南京航空航天大學,2019.

[3] Weiss K,Khoshgoftaar T M,Wang D D.A survey of transfer learning[J].Journal of Big Data,2016,3(1):1-40.

[4] ZHAOＲ,YANＲQ,CHEN Z H,et al.Deep learning and its applications to machine health monitoring[J].Mechani-cal Systems and Signal Processing,2019(115):213－237.

[5] 卜文銳.基于MNIST數(shù)據(jù)集的參數(shù)最優(yōu)化算法比較研究[J].電子技術與軟件工程.2021(11):187-188.

(注：本文轉(zhuǎn)載自《電子產(chǎn)品世界》雜志2022年10月期)