中国娇小与黑人巨大交,中文字幕乱码亚洲∧ⅴ日本

OpenAI提出Image GPT實現(xiàn)高質量圖像補全和樣本生成

2020-07-17 10:13

模型直接生成的樣本也具有明顯的個體特征，包含著可以被清晰識別的目標個體，這說明模型的確理解了圖像中所包含的空間信息和不同目標的特征。

從語言跨界圖像的GPT

在語言領域，像GPT－2和BERT等依賴于詞預測的非監(jiān)督學習算法非常成功，在多個語言相關任務上取得了最好的表現(xiàn)。其中一個重要的原因在于下游任務（數(shù)據(jù)）是以自然的文本方式呈現(xiàn)的：答案往往伴隨著問題（問答任務），文章往往伴隨著總結（文本摘要任務）。而像素序列針對其所屬的圖像卻沒有非常明顯的標簽。

即使沒有這種隱式的監(jiān)督，GPT－2在圖像任務上成功的原因也不難發(fā)現(xiàn)：一個足夠大的transformer模型，用于訓練針對下一個像素的預測，最終能夠學會生成豐富的可以清晰辨認的目標樣本。

當模型可以有效合成圖像時，研究人員開始思考是不是可以通過“基于合成的分析”來嘗試利用模型識別目標的分類。先前很多生成模型都受到了這一觀點的啟發(fā)，最近的BigBiGAN就是一個典型的例子，可以產生非常有效的樣本和特征。在這一研究中，研究人員首先展示了更好的生成模型可以實現(xiàn)更強的分類表現(xiàn)，隨后通過對GPT－2生成能力的優(yōu)化，在很多情況下實現(xiàn)了最為優(yōu)異的分類表現(xiàn)，為基于合成的分析思想提供了更多的佐證。

邁向通用非監(jiān)督學習

生成序列模型可以被視為一種通用的非監(jiān)督學習算法：由于所有的數(shù)據(jù)類型都可以被標示為字節(jié)序列，無需額外的改動，transformer可以被直接應用于任何類型的數(shù)據(jù)形式上。為了驗證這種算法的通用性，研究人員將原先用于自然語言處理的GPT－2的架構直接應用于圖像生成任務上，故意放棄了對圖像先驗知識的手動編碼（包括卷積、相關注意力、稀疏注意力、2D位置嵌入等等）。

但隨之而來的是，如果要實現(xiàn)具有競爭力的非監(jiān)督學習性能，就需要更多的計算量來保證。基于對比的方法在從圖像生成高質量特征的過程中的確具有更高的計算效率，然而在與最好的無監(jiān)督算法比較過程中，基于對領域知識的手工編碼和計算需求間可以找到有效的平衡。在沒有領域知識的全新領域，大規(guī)模的計算也許是解決問題值得一試的有效手段。