作者是來(lái)自將門(mén)機(jī)器學(xué)習(xí)社群，康奈爾大學(xué)的Cornell SE（3） and Machine Learning Group，這次要介紹的是他們發(fā)表在NeurIPS 2019的工作——位置歸一化。

這項(xiàng)工作主要集中于發(fā)現(xiàn)對(duì)位置歸一化提取信息的含義及如何在生成網(wǎng)絡(luò)中高效利用這層信息。以往的研究大多都是認(rèn)為對(duì)特征進(jìn)行歸一化之后可以加速網(wǎng)絡(luò)訓(xùn)練和提高網(wǎng)絡(luò)準(zhǔn)確率，卻忽視了其實(shí)被normalize的信息含有特征中重要的統(tǒng)計(jì)值，如果有效應(yīng)用，可以對(duì)生成網(wǎng)絡(luò)乃至分類(lèi)網(wǎng)絡(luò)產(chǎn)生關(guān)鍵性有利的影響。目前已被應(yīng)用于生成網(wǎng)絡(luò)（GAN，圖像去霧等），語(yǔ)義分割，圖像分類(lèi)等應(yīng)用當(dāng)中。

隨著生成模型在計(jì)算機(jī)視覺(jué)中的普遍應(yīng)用，在圖像風(fēng)格遷移等方面都有了突破性的進(jìn)展。然而現(xiàn)有的技術(shù)仍然不能有效學(xué)習(xí)生成物體的結(jié)構(gòu)信息。因此在數(shù)據(jù)不足的情況下，生成模型很可能出現(xiàn)訓(xùn)練失敗的情況。在這篇文章中，研究人員基于對(duì)圖像中間特征的深入研究，提出有效利用歸一化信息從而提取圖像特征中的結(jié)構(gòu)性信息，其本質(zhì)上是要求從已有特征中提取有效信息再傳遞到神經(jīng)網(wǎng)絡(luò)后層，以減少網(wǎng)絡(luò)訓(xùn)練中的結(jié)構(gòu)信息丟失。

PositionalNormalization （PONO）

研究人員定義從另外一個(gè)維度對(duì)中間特征每個(gè)位置進(jìn)行歸一化，稱(chēng)之為Positional Normalization （PONO），實(shí)驗(yàn)發(fā)現(xiàn)PONO可以有效的提取特征里的結(jié)構(gòu)信息。從圖中我們可以看到由PONO提取出來(lái)的平均值mean（）和標(biāo)準(zhǔn)差std（）可以有效的表征特征中的結(jié)構(gòu)信息。研究人員認(rèn)為，這兩個(gè)重要的moment信息將在包括GAN 在內(nèi)的生成網(wǎng)絡(luò)中起著重要的作用。

Moment Shortcut （MS）

Moment Shortcut （MS） 作為和residual connection 和 concatenation 并行的一種重新利用信息的方式，與這兩個(gè)不同的是，Moment Shortcut不要求將所有信息返回到下一層，而是將部分信息返回于下一層。

上述圖展示了如何在網(wǎng)絡(luò)中使用Moment Shortcut。

該圖顯示了如何在生成網(wǎng)絡(luò)中結(jié)合PONO將前層網(wǎng)絡(luò)的結(jié)構(gòu)信息和 提取出來(lái)作為新特征的參數(shù)和 

放入后層，以有效緩解生成網(wǎng)絡(luò)的結(jié)構(gòu)信息丟失的問(wèn)題。具體放回類(lèi)似于denormalize的操作，見(jiàn)以下公式：

文中把這種算法簡(jiǎn)稱(chēng)為PONO－MS。與residual connection相似，PONO－MS不會(huì)造成額外的參數(shù)學(xué)習(xí)，計(jì)算量也十分小。PONO－MS直接將和。作為和，傳輸?shù)胶髮泳W(wǎng)絡(luò)，考慮到各種task的不同，文中也提出了優(yōu)化的版本PONO－DMS。在得到和之前，將和輸入一層ConvNet中進(jìn)行自適應(yīng)學(xué)習(xí)，以得到更符合相應(yīng)task的參數(shù)。

與各類(lèi)歸一化方法之間的比較

歸一化（Normalization）算法的概念主要是將特征看作一個(gè)分布，將其中的平均值及標(biāo)準(zhǔn)差（σ）去除，根據(jù)使用不同的維度，則有不同的意義。BatchNorm是將某單一特征在整個(gè)batch中做挑整，進(jìn)而增加網(wǎng)絡(luò)學(xué)習(xí)的效率；LayerNorm是針對(duì)整層的特征一起調(diào)整，不再考慮batch中其他example的特征，特別能強(qiáng)化RNN與Transformer這類(lèi)在NLP方面的模型；GroupNorm則是針對(duì)batch size很小、BatchNorm無(wú)法穩(wěn)定地發(fā)揮作用時(shí)，提出了解決的方案。根據(jù)研究人員的說(shuō)明，InstanceNorm以往用于分離圖像中的風(fēng)格，而這次提出的PONO則是著重在提取結(jié)構(gòu)信息。 人們?cè)谑褂脷w一化經(jīng)常還會(huì)再進(jìn)行反歸一化（Denormalization）的操作，文中的Moment Shortcut（MS）則屬此類(lèi)。這操作最早是在BatchNorm的文章中被提出，作者增加了兩個(gè)新參數(shù)β和γ用來(lái)學(xué)習(xí)新的平均值與標(biāo)準(zhǔn)差。后來(lái)的Conditional InstanceNorm則是給予網(wǎng)絡(luò)n組β和γ來(lái)學(xué)習(xí)n種圖像風(fēng)格。AdaIN則提出直接交換將一張圖片的平均值與σ當(dāng)作另一張圖片的β和γ，來(lái)達(dá)成風(fēng)格替換。這直接將平均值與σ當(dāng)作β和γ的方式與MS相似，其中的差別在于前者用于替換風(fēng)格，后者則用于直接保留結(jié)構(gòu)信息。作者在實(shí)驗(yàn)中發(fā)現(xiàn)兩種方法可以相輔相成。之后的Dyanmic LayerNorm則是使用另一個(gè)網(wǎng)絡(luò)來(lái)生成β和γ，同樣的方法也使用于后來(lái)MUNIT與StyleGAN中的新版AdaIN以及SPADE。此方法在文中的Dynamic Moment Shortcut（DMS）也同樣被使用。

實(shí)驗(yàn)結(jié)果

文章主要集中在對(duì)于Image Translation相關(guān)工作的探索。結(jié)果顯示，加入PONO－MS能夠有效提高GAN一類(lèi)網(wǎng)絡(luò)的生成性能。

同時(shí)，PONO－MS也能有效使一些failure的case起死回生。以目前非常火的image translation的一個(gè)GAN應(yīng)用為例：我們分別提取貓和狗的結(jié)構(gòu)信息和類(lèi)別信息，旨在于生成有著貓的結(jié)構(gòu)的狗和有著狗的結(jié)構(gòu)的貓（如圖所示）。當(dāng)我們用小數(shù)量級(jí)dataset來(lái)訓(xùn)練網(wǎng)絡(luò)的時(shí)候我們可以看到網(wǎng)絡(luò)無(wú)法學(xué)習(xí)到我們需要的信息，造成訓(xùn)練失敗。而令人驚訝的是，當(dāng)加入PONO－MS之后，網(wǎng)絡(luò)可以成功學(xué)習(xí)到對(duì)應(yīng)信息，使一個(gè)失敗的例子能夠起死回生。

總  結(jié)

PONO目前已被應(yīng)用于生成網(wǎng)絡(luò)（GAN，圖像去霧等），語(yǔ)義分割，圖像分類(lèi)等應(yīng)用當(dāng)中。