滑鐵盧大學CogDrive實驗室探索了基于Domain Randomization 的模擬器到真實世界知識遷移算法。該算法可以使用效果較弱的domain adaptation方法來進行定向數(shù)據(jù)增強，讓諸如自動駕駛汽車的智能體獲得真實世界可用的策略。

隨著數(shù)據(jù)科學的發(fā)展，很多之前過于復雜，難以解決的問題都可以通過數(shù)據(jù)擬合的方式來解決�；�于學習的算法一般都基于獨立同分布的假設，即用于訓練的數(shù)據(jù)與真實環(huán)境遇到的數(shù)據(jù)符合統(tǒng)一分布，且相互獨立。要符合這一假設，在訓練時需要采集大量數(shù)據(jù)以覆蓋真實使用時可能遇到的場景。對于自動駕駛，對數(shù)據(jù)量的需求格外巨大，而數(shù)據(jù)采集的過程是昂貴，費時費力，甚至危險的，數(shù)據(jù)標注的過程更是需要大量人力。

而模擬器作為一個廉價但有準確標注的數(shù)據(jù)源，如果可以解決模擬器與真實世界數(shù)據(jù)上的差異，帶來的訓練得到的策略上差異，將可以在自動駕駛領域發(fā)揮巨大價值。從統(tǒng)計學上講，模擬器上的策略可用于真實世界的原因在于，模擬器于真實世界的數(shù)據(jù)具有相似的條件概率，僅是邊緣概率有較大差異。通俗的理解就是，人在模擬器中的駕駛策略與在真實世界的駕駛策略是相似的，僅是模擬器里的車與真實世界的車，道路長得不太一樣。

Figure1領域自適應與鄰域隨機化

為探索模擬器數(shù)據(jù)對于真實世界自動駕駛的可用性，滑鐵盧大學CogDrive實驗室探索了基于Domain Randomization 的模擬器到真實世界知識遷移算法。主流的用于知識遷移的鄰域自適應算法一般是基于度量的，算法的關鍵在于量化兩個不同數(shù)據(jù)分布之間的差異，最終尋求一個將兩個數(shù)據(jù)分布映射到同一特征空間的映射函數(shù)。而Domain Randomization類算法一般側(cè)重于尋找兩個不同數(shù)據(jù)分布的共同特征空間（common latent space），再基于這個共同特征空間進行進一步的訓練。

對于自動駕駛模擬器與真實的駕駛環(huán)境，一個先驗知識是模擬器與真實世界在圖像紋理，光照條件上有較大不同，而在幾何信息上大致相同，基于這個先驗知識，可以嘗試構(gòu)建一個從模擬器遷移到真實世界的語義分割算法。

一般的 Domain Randomization 方法首先對模擬器圖像進行一些自定義的圖像增強，然后使用增強后的圖像進行訓練。該團隊的Domain Randomization則是基于圖像風格遷移來進行隨機化，從而進行知識的遷移。圖像風格遷移（Neural Style Transfer）可以視作一種一類圖像到另一類圖像的Domain adaptaiton。使用圖像風格遷移來進行Domain Randomization，實則是在使用一些效果較弱的Domain Adaptation方法來定向增強訓練數(shù)據(jù)，從而使得目標域數(shù)據(jù)分布屬于訓練數(shù)據(jù)分布。

相比手工定義的圖像增強，基于風格遷移的方法可以起到更好的效果。隨后一個基于 Conditional GAN的隨機化后的圖像到原圖像的映射網(wǎng)絡被進一步用于將隨機化后的圖像映射為其對應模擬器原圖。由于隨機化后的圖像與目標域圖像有一個共同的特征空間，這個映射函數(shù)同樣可以用于將真實世界的圖像映射到對應的模擬器“風格”的圖像，從而可以將一個完全由模擬器數(shù)據(jù)訓練的語義分割模型應用到其中。

整個流程如圖3所示。在真實數(shù)據(jù)使用過程中，僅有一個generator需要添加在語義分割模型之前，用于將真實世界的圖像轉(zhuǎn)化為符合模擬器數(shù)據(jù)分布的圖像。

Figure3訓練流程

更進一步，最后加在具體的任務網(wǎng)絡前的這個Generator， 它的作用在于將邊緣分布與訓練數(shù)據(jù)有一些差異的數(shù)據(jù)映射到與訓練數(shù)據(jù)相同的邊緣分布。這樣一個模塊不只可以用于完成模擬器到真實世界的知識遷移，也可以用于增強模型的魯棒性。

在模擬器中使用該方法，可以定向增強訓練數(shù)據(jù)，讓無人駕駛汽車獲取真實世界可用的策略。