CVPR 2020: SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法
根據(jù)這三個(gè)影響邊選擇的三個(gè)因素,我們提出了兩個(gè)選擇指標(biāo):
指標(biāo)1 :具有高的邊重要性和高的邊確定性的邊將被選擇,公式為:
指標(biāo)2:在指標(biāo)1的基礎(chǔ)上,被選擇的邊也應(yīng)該具有較高的穩(wěn)定性:
這里,normalize(·)指 Min-Max標(biāo)準(zhǔn)化。
實(shí)驗(yàn)結(jié)果
我們搜索了CNN和GCN網(wǎng)絡(luò)結(jié)構(gòu),并在CIFAR,ImageNet圖像分類,ModelNet點(diǎn)云分類,PPI生物圖數(shù)據(jù)節(jié)點(diǎn)分類上達(dá)到了SOTA效果。
CNN
我們將SGAS用到CNN的網(wǎng)絡(luò)結(jié)構(gòu)搜索中, CNN網(wǎng)絡(luò)結(jié)構(gòu)由普通單元(normalcell) 和 歸約單元(reduction cell)組成。普通單元保持特征圖大小不變,歸約單元縮小特征圖至. CNN任務(wù)中,搜索空間由8個(gè)運(yùn)算組成:skip-connect,max-pool-3×3, avg-pool-3×3, sep-conv-3×3, sep-conv5×5, dil-conv-3×3,dil-conv-5×5, zero。
SGAS在CIFAR-10的訓(xùn)練集與驗(yàn)證集搜索結(jié)構(gòu),并在測(cè)試集上進(jìn)行測(cè)試,結(jié)果如表1所示:
SGAS在CIFAR-10的訓(xùn)練集與驗(yàn)證集搜索結(jié)構(gòu),并在ImageNet測(cè)試集上進(jìn)行測(cè)試,結(jié)果如表2所示:
我們的SGAS在性能超越了手工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)以及其他NAS算法。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 【限時(shí)福利】TE 2025國際物聯(lián)網(wǎng)展·深圳站
推薦專題