研究人員將使用udacity提供的模擬器，模擬車前部配有3個(gè)攝像頭，可記錄視頻以及與中央攝像頭對(duì)應(yīng)的轉(zhuǎn)向角。

行為克隆的本質(zhì)是克隆了驅(qū)動(dòng)程序的行為。本文的實(shí)驗(yàn)思路是根據(jù)駕駛員駕駛的訓(xùn)練數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）以模擬駕駛員。

NVIDIA曾發(fā)布了一篇題為End to End Learning for Self－DrivingCars 的文章，他們訓(xùn)練CNN將原始像素從單個(gè)前置攝像頭直接映射到轉(zhuǎn)向命令。實(shí)驗(yàn)結(jié)果令人非常震驚，汽車學(xué)會(huì)了在有或沒(méi)有車道標(biāo)記的地方道路上或者在具有最少量訓(xùn)練數(shù)據(jù)的高速公路上行駛。本次實(shí)驗(yàn)，研究人員將使用udacity提供的模擬器，模擬車前部配有3個(gè)攝像頭，可記錄視頻以及與中央攝像頭對(duì)應(yīng)的轉(zhuǎn)向角。

收集數(shù)據(jù)

模擬器有2個(gè)通道：第一個(gè)通道非常容易，曲線較小且很少，第二個(gè)通道很難，有許多曲線和陡峭的山坡。

研究人員將使用來(lái)自兩個(gè)軌道的訓(xùn)練數(shù)據(jù)：

1．研究人員將駕駛兩條車道，將車保持在車道的中心位置。研究人員每人開車2圈。

2．研究人員將在兩條車道上各開一圈，并試圖漂移到兩側(cè)，或試圖轉(zhuǎn)向車道的中心。這將為研究人員提供模型校正的訓(xùn)練數(shù)據(jù)。

圖分別為左、中、右視角

捕獲的數(shù)據(jù)包含左圖像，中心圖像和右圖像的路徑，轉(zhuǎn)向角度，油門，中斷和速度值。

注意：研究人員將使用所有左，中，右圖像。研究人員將通過(guò)一些調(diào)整來(lái)矯正left＿image的轉(zhuǎn)向角度。同樣，研究人員將通過(guò)一些調(diào)整來(lái)矯正right＿image的轉(zhuǎn)向角度。

數(shù)據(jù)不平衡

轉(zhuǎn)向角直方圖

上面的直方圖顯示了訓(xùn)練數(shù)據(jù)的不平衡。左轉(zhuǎn)彎的數(shù)據(jù)多于右轉(zhuǎn)彎的數(shù)據(jù)。研究人員將通過(guò)隨機(jī)翻轉(zhuǎn)訓(xùn)練圖像并將轉(zhuǎn)向角度調(diào)整為steering＿angle來(lái)補(bǔ)償這一點(diǎn)。

此外，大多數(shù)轉(zhuǎn)向角集中在0－0．25左右，研究人員沒(méi)有太多的數(shù)據(jù)來(lái)獲得更大的轉(zhuǎn)向角。研究人員將通過(guò)一些像素水平和垂直地隨機(jī)移動(dòng)圖像并相應(yīng)地調(diào)整轉(zhuǎn)向角來(lái)補(bǔ)償這一點(diǎn)。

數(shù)據(jù)擴(kuò)充

研究人員使用以下增補(bǔ)：

1．隨機(jī)翻轉(zhuǎn)一些圖像并將轉(zhuǎn)向角度調(diào)整為steering＿angle

2．通過(guò)一些像素水平和垂直地隨機(jī)移動(dòng)圖像，并使用小的調(diào)整因子調(diào)整轉(zhuǎn)向角度。

3．路上有樹木，柱子等陰影。因此，研究人員將為訓(xùn)練圖像添加一些陰影。4．研究人員會(huì)隨機(jī)調(diào)整圖像的亮度。

以上這些是標(biāo)準(zhǔn)的OpenCV調(diào)整，代碼可以在GitHub存儲(chǔ)庫(kù)中找到。（詳見(jiàn)文末鏈接）

應(yīng)用增強(qiáng)后，下面是一些訓(xùn)練圖像的輸出。

前處理

本文期望圖像的輸入尺寸為66 ＊ 200 ＊ 3，而來(lái)自訓(xùn)練的圖像尺寸為160 ＊ 320 ＊ 3。此外，紙張期望將輸入圖像從RGB轉(zhuǎn)換為YUV顏色空間。因此，研究人員將從輸入圖像裁剪上部40像素行和下部20像素行。此外，作為預(yù)處理的一部分，研究人員將裁剪的圖像大小調(diào)整為66 ＊ 200 ＊ 3大小并將其轉(zhuǎn)換為YUV色彩空間。

模型

這是本文中描述的PilotNet模型：