模型已更新！

經(jīng)過數(shù)十年的基礎(chǔ)研究，視覺識別領(lǐng)域迎來了大規(guī)模視覺表示學(xué)習(xí)的新時代。 預(yù)訓(xùn)練的大規(guī)模視覺模型已成為特征學(xué)習(xí)和視覺應(yīng)用的基本工具。 視覺表示學(xué)習(xí)系統(tǒng)的性能在很大程度上受三個主要因素的影響：模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)、用于訓(xùn)練網(wǎng)絡(luò)的方法和訓(xùn)練數(shù)據(jù)。 每個因素的改進都有助于模型整體性能的提高。

神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計的創(chuàng)新一直在表示學(xué)習(xí)領(lǐng)域發(fā)揮著重要作用。 騰云網(wǎng)絡(luò)架構(gòu)（）對計算機視覺研究產(chǎn)生了重大影響，使得在各種視覺識別任務(wù)中使用通用特征學(xué)習(xí)方法成為可能，而無需依賴人工實現(xiàn)的特征工程。 近年來，最初為自然語言處理而開發(fā)的架構(gòu)因其對不同規(guī)模的模型和數(shù)據(jù)集的適用性而開始廣泛應(yīng)用于其他深度學(xué)習(xí)領(lǐng)域。

架構(gòu)的出現(xiàn)使傳統(tǒng)架構(gòu)現(xiàn)代化，表明純卷積模型也可以適應(yīng)模型和數(shù)據(jù)集的規(guī)模變化。 然而，探索神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計空間的最常用方法仍然是監(jiān)督學(xué)習(xí)的性能基準(zhǔn)測試。

另一種思路是將視覺表示學(xué)習(xí)的重點從標(biāo)記監(jiān)督學(xué)習(xí)轉(zhuǎn)移到自我監(jiān)督預(yù)訓(xùn)練。 自監(jiān)督算法將掩碼語言建模引入視覺領(lǐng)域，并迅速成為視覺表示學(xué)習(xí)的流行方法。 然而，自我監(jiān)督學(xué)習(xí)通常使用專為監(jiān)督學(xué)習(xí)設(shè)計的架構(gòu)，并假設(shè)該架構(gòu)是固定的。 例如，掩碼自動編碼器 (MAE) 使用視覺架構(gòu)。

一種方法是將這些架構(gòu)與自我監(jiān)督學(xué)習(xí)框架相結(jié)合，但面臨一些特定問題。 例如，當(dāng)與 MAE 結(jié)合時會出現(xiàn)一個問題：MAE 具有針對序列處理能力優(yōu)化的特定編碼器-解碼器設(shè)計，這使得計算密集型編碼器專注于那些可見的，從而降低預(yù)訓(xùn)練成本。 但這種設(shè)計可能與使用密集滑動窗口的標(biāo)準(zhǔn)設(shè)計不兼容。 此外，如果不考慮架構(gòu)與訓(xùn)練目標(biāo)之間的關(guān)系seo優(yōu)化，是否可以實現(xiàn)最佳性能尚不清楚。 事實上，已經(jīng)表明使用基于掩碼的自監(jiān)督學(xué)習(xí)進行訓(xùn)練是困難的，并且實驗證據(jù)表明 ，并且可能在特征學(xué)習(xí)中發(fā)散，影響最終表示的質(zhì)量。

為此，來自 Meta 和紐約大學(xué)的研究人員（包括一位作者劉莊和一位作者謝賽寧）提出在同一框架下共同設(shè)計網(wǎng)絡(luò)架構(gòu)和掩碼自動編碼器。 這樣做的目的是讓基于mask的自監(jiān)督學(xué)習(xí)能夠擬合模型并得到媲美的結(jié)果。

論文地址：

在設(shè)計掩碼自動編碼器時，該研究將掩碼輸入視為稀疏集，并使用稀疏卷積來處理可見部分。 這個想法的靈感來自于在處理大規(guī)模 3D 點云時使用稀疏卷積。 具體來說，該研究提出實現(xiàn)稀疏卷積，然后在微調(diào)時，可以將權(quán)重轉(zhuǎn)換回標(biāo)準(zhǔn)的密集網(wǎng)絡(luò)層，無需特殊處理。 為了進一步提高預(yù)訓(xùn)練效率，本研究將解碼器替換為單個解碼器網(wǎng)站制作，使整個設(shè)計完全卷積。 研究人員觀察到，加入這些變化后：學(xué)習(xí)到的特征是有用的，提高了基線結(jié)果，但微調(diào)后的性能仍然不如基礎(chǔ)模型。

然后，該研究分析了不同訓(xùn)練配置的特征空間。 當(dāng)直接對屏蔽輸入進行訓(xùn)練時，我們發(fā)現(xiàn) MLP 層中存在潛在的特征崩潰 ( ) 問題。 為了解決這個問題，本研究提出添加一個全局響應(yīng)歸一化層 ( ) 來增強通道之間的特征競爭。 當(dāng)使用屏蔽自動編碼器對模型進行預(yù)訓(xùn)練時，這種改進最為有效，這表明在監(jiān)督學(xué)習(xí)中重用固定架構(gòu)設(shè)計可能不是最佳選擇。

基于以上改進，本研究提出了 V2，它在與掩碼自動編碼器結(jié)合時表現(xiàn)出更好的性能。 同時，研究人員發(fā)現(xiàn)，V2 在各種下游任務(wù)上比 pure 有顯著的性能提升輕量php框架，包括 上的分類任務(wù)、COCO 上的目標(biāo)檢測和 上的語義分割。

方法介紹

全卷積屏蔽自動編碼器

本研究中提出的方法在概念上很簡單，并且以完全卷積的方式運行。 學(xué)習(xí)信號是通過以高掩蔽率隨機掩蔽原始視覺輸入，然后讓模型從其余部分預(yù)測缺失部分來生成的。 整體框架如下圖所示。

該框架由一個基于稀疏卷積的編碼器和一個輕量級解碼器組成，其中自動編碼器的結(jié)構(gòu)是不對稱的。 編碼器僅使用可見像素，而解碼器使用編碼像素和掩碼來重建圖像。 同時，loss只在區(qū)域計算。

全局響應(yīng)標(biāo)準(zhǔn)化

大腦中有許多促進神經(jīng)元多樣性的機制。 例如，側(cè)抑制可以幫助增強激活神經(jīng)元的反應(yīng)，增加單個神經(jīng)元對刺激的對比度和選擇性，同時還增加神經(jīng)元群體之間反應(yīng)的多樣性。 在深度學(xué)習(xí)中，這種形式的橫向抑制可以通過響應(yīng)歸一化 ( ) 來實現(xiàn)。 該研究引入了一個新的響應(yīng)歸一化層輕量php框架，稱為全局響應(yīng)歸一化 (GRN)，旨在提高跨通道的對比度和選擇性。 GRN 單元包括三個步驟：1）全局特征聚合，2）特征歸一化，以及 3）特征校準(zhǔn)。 如下圖所示，可以將GRN層合并到原始塊中。

研究人員根據(jù)實驗發(fā)現(xiàn)，在應(yīng)用GRN時，不需要，可以刪除。 使用這種新的塊設(shè)計，該研究創(chuàng)建了各種具有不同效率和容量的模型，他們將其稱為 V2 模型系列，從輕量級 (Atto) 到計算密集型 (Huge)。

為了評估 GRN 的效果，該研究使用該框架來預(yù)訓(xùn)練 V2。 從下圖 3 的可視化和圖 4 的余弦距離分析可以看出，V2 有效地緩解了特征崩潰問題。 余弦距離值一直很高，說明可以通過網(wǎng)絡(luò)層傳輸保持特征多樣性。 這類似于使用 MAE 預(yù)訓(xùn)練的 ViT 模型。 這表明在相似的掩碼圖像預(yù)訓(xùn)練框架下，V2 的學(xué)習(xí)行為與 ViT 相似。

該研究進一步評估了微調(diào)性能，結(jié)果如下表所示。

當(dāng)配備 GRN 時，預(yù)訓(xùn)練模型可以顯著優(yōu)于使用 300 訓(xùn)練的監(jiān)督模型。GRN 通過增強特征多樣性來提高表示質(zhì)量，這對于基于掩碼的預(yù)訓(xùn)練至關(guān)重要，而 V1 模型中不存在。 值得注意的是，這種改進是在沒有增加額外參數(shù)開銷的情況下實現(xiàn)的，也沒有增加 .

最后，該研究還檢驗了 GRN 在預(yù)訓(xùn)練和微調(diào)中的重要性。 如下表2(f)所示，無論是從fine-中移除GRN還是在fine-過程中加入新初始化的GRN，性能都明顯下降，這說明GRN在預(yù)訓(xùn)練和微調(diào)中的重要性。