圖標(biāo)（icon）廣泛應(yīng)用于各種類(lèi)型的平面媒體中，其簡(jiǎn)單抽象的形象表示、簡(jiǎn)明扼要的信息表達(dá)受到了很多人的青睞。但一個(gè)好看、生動(dòng)的優(yōu)秀icon需要設(shè)計(jì)師基于多年的設(shè)計(jì)經(jīng)驗(yàn)，對(duì)目標(biāo)進(jìn)行充分的抽象、變形，重新設(shè)計(jì)成更光滑圓潤(rùn)、形象生動(dòng)的圖標(biāo)化結(jié)果。如果對(duì)于沒(méi)有設(shè)計(jì)經(jīng)驗(yàn)的人來(lái)說(shuō)，從一張照片得到一個(gè)好看的圖標(biāo)并不容易。

為解決設(shè)計(jì)師的這一痛點(diǎn)，來(lái)自于日本九州大學(xué)和電氣通信大學(xué)的研究人員提出了基于生成對(duì)抗網(wǎng)絡(luò)的Iconify模型，可以將輸入的圖像轉(zhuǎn)換為較為形象簡(jiǎn)潔的圖標(biāo)，為圖標(biāo)生成和構(gòu)建提出了新的可行方向。

圖像主體的圖標(biāo)化

圖標(biāo)化指的是對(duì)圖像中的目標(biāo)進(jìn)行抽象和簡(jiǎn)化的過(guò)程，下圖顯示了一些典型的圖標(biāo)。與原始多代表的目標(biāo)相比，圖標(biāo)不僅僅是圖像的二值化，同時(shí)還對(duì)原始圖像進(jìn)行了有效地抽象和簡(jiǎn)化設(shè)計(jì)。例如人體的頭部都用一個(gè)圓來(lái)代替、復(fù)雜形狀和細(xì)節(jié)被簡(jiǎn)化成了簡(jiǎn)單的幾何結(jié)構(gòu)。圖形設(shè)計(jì)師的專(zhuān)業(yè)能力就在于省略、抽象和簡(jiǎn)化復(fù)雜的細(xì)節(jié)而保留原始目標(biāo)中具有辨識(shí)力的典型特征。

研究人員希望利用機(jī)器學(xué)習(xí)技術(shù)將照片直接轉(zhuǎn)換為圖標(biāo)，其核心在于機(jī)器學(xué)習(xí)算法是否可以有效捕捉和模擬人類(lèi)設(shè)計(jì)師對(duì)于目標(biāo)的抽象和簡(jiǎn)化能力，來(lái)構(gòu)建美觀的圖標(biāo)。但實(shí)現(xiàn)這一目標(biāo)需要解決以下三個(gè)困難：

1． 首先針對(duì)真實(shí)圖像和圖標(biāo)沒(méi)有與之相匹配的配圖圖像，真實(shí)圖像和圖標(biāo)間沒(méi)有直接對(duì)應(yīng)的匹配關(guān)系使得研究人員無(wú)法使用基于U－Net的直接轉(zhuǎn)換方法，而需要在數(shù)據(jù)集間尋求兩個(gè)不同域間的對(duì)應(yīng)關(guān)系；

2． 其次兩種圖像間具有較大的風(fēng)格差異，例如人物的頭部在真實(shí)圖片中具有很多細(xì)節(jié)特征，而在圖標(biāo)中則用簡(jiǎn)單的原型代替，這就需要模型能夠?qū)W習(xí)出兩種風(fēng)格間的映射；

3． 此外兩種圖像的外形特征也不盡相同，圖標(biāo)雖然是簡(jiǎn)化的平面圖形，但不同目標(biāo)的形狀差異也很大。對(duì)應(yīng)的照片也是各具特色、顏色不一的。

研究人員將圖標(biāo)生成任務(wù)視為在照片和圖標(biāo)間實(shí)現(xiàn)域遷移的生成任務(wù)。由于沒(méi)有對(duì)應(yīng)的配對(duì)數(shù)據(jù)集，研究人員采用了基于CycleGan和UNIT等方法來(lái)構(gòu)建模型，學(xué)習(xí)出從圖像到圖標(biāo)的圖標(biāo)化能力。

在神經(jīng)風(fēng)格遷移提出后，各種模型都在利用深度學(xué)習(xí)的創(chuàng)作藝術(shù)作品上展現(xiàn)出了強(qiáng)大的能力，特別是基于生成對(duì)抗網(wǎng)絡(luò)的模型引領(lǐng)了風(fēng)格化的研究潮流。其中Pix2Pix就是其中著名的代表，它可以利用配對(duì)圖像訓(xùn)練出非常好遷移結(jié)果，但配對(duì)圖像的需求限制了它在缺乏對(duì)應(yīng)數(shù)據(jù)集領(lǐng)域的應(yīng)用。而CycleGan和UNIT這類(lèi)模型卻可以學(xué)習(xí)出兩個(gè)圖像數(shù)據(jù)集間的映射關(guān)系，而無(wú)需一一對(duì)應(yīng)的圖像對(duì)數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。

CycleGAN定義了兩個(gè)圖像集合X、Y間的映射，在不需要給定配對(duì)圖像的情況下進(jìn)行訓(xùn)練。它包含了兩個(gè)生成器G和F以及兩個(gè)判別器Dx和Dy，也就是兩個(gè)生成對(duì)抗網(wǎng)絡(luò)同時(shí)訓(xùn)練將X和Y兩個(gè)不同的圖像域耦合在了一起。在訓(xùn)練時(shí)一共定義了三個(gè)損失函數(shù)，包括用于訓(xùn)練GAN的對(duì)抗損失、用于雙向訓(xùn)練XY間映射的循環(huán)連續(xù)性損失、以及保證顏色連續(xù)性的特性映射損失。

UNIT則可視為CycleGAN的拓展形式，實(shí)現(xiàn)了兩個(gè)圖像集合XY間的風(fēng)格轉(zhuǎn)換。UNIT與CycleGAN的主要不同在于需要滿(mǎn)足原始圖像與遷移后圖像的表示變量需要在隱空間中保持一致。

下圖展示了其基本架構(gòu)，包含了兩個(gè)編碼器和兩個(gè)生成器、以及兩個(gè)判別器。這些模塊利用VAE損失、對(duì)抗損失和循環(huán)損失共同訓(xùn)練，VAE損失的引入使得隱變量可以編碼原始圖像的足夠信息。

為了訓(xùn)練CycleGAN和UNIT模型實(shí)現(xiàn)從圖像到圖標(biāo)的遷移任務(wù)，研究人員利用了兩個(gè)模型原始的代碼代碼版本進(jìn)行了訓(xùn)練。其中圖像數(shù)據(jù)來(lái)自于MS COCO數(shù)據(jù)集，從中選取了5000張圖片包含11041個(gè)目標(biāo)，并將其裁剪成了256x256大小的圖像；而圖標(biāo)數(shù)據(jù)則來(lái)自于兩方面，一方面利用你了ppt內(nèi)自帶的883張圖片，并通過(guò)數(shù)據(jù)增強(qiáng)擴(kuò)充到了8830張。此外，研究人員還使用了LLD數(shù)據(jù)集中的圖像，包含了與本任務(wù)類(lèi)似的logo風(fēng)格遷移的數(shù)據(jù)集，研究人員選取了其中的20，000張并將其尺寸縮放成了256x256大小作為訓(xùn)練數(shù)據(jù)。

下圖顯示了數(shù)據(jù)集中的典型樣本：