Holopix50k發(fā)布: 最多最豐富的雙目數(shù)據(jù)集大幅提升多個(gè)相關(guān)任務(wù)性能?
由于這一數(shù)據(jù)集主要集中于針對(duì)水平排列相機(jī)的立體視覺,而在垂直方向上的視差會(huì)影響立體視覺匹配算法的性能,需要去除具有垂直視差的圖像。在這樣的篩選后剩下約60k的圖像對(duì)。
垂直視差造成的匹配性能下降,c和d分別是垂直方向上有2像素和5個(gè)像素視差下的匹配結(jié)果。
由于絕大多數(shù)照片是由Hydrogen One拍攝的,其后攝基線只有12mm前攝則為5mm,場(chǎng)景中包含的視差信息應(yīng)該是處于有限范圍內(nèi)的,所有研究人員通過視差分析模型去除了包含極端誤差的圖像和立體特征較差的圖像對(duì),最終得到了約50k的立體視覺圖像對(duì)。
為了探索數(shù)據(jù)集的分布,研究人員利用在coco數(shù)據(jù)集上預(yù)訓(xùn)練的Mask-RCNN目標(biāo)檢測(cè)器對(duì)每一對(duì)圖像的左圖來進(jìn)行檢測(cè)分析,結(jié)果表明其中包含了大量豐富的常見物體,由于這是社交媒體平臺(tái),所以其中會(huì)包含很多的人物,共檢測(cè)到了約21k個(gè)人體實(shí)例。此外數(shù)據(jù)集中還包含了風(fēng)景和肖像攝影,為數(shù)據(jù)集貢獻(xiàn)了可觀的多樣性。
Holopix中物體的詞云分布包含了很多常見的物體
定量測(cè)評(píng)
為了展現(xiàn)數(shù)據(jù)集的優(yōu)勢(shì),研究人員利用熵、BRISQUE、SR-metric和ENIQA等指標(biāo)比較了Holopix與現(xiàn)有的數(shù)據(jù)集,結(jié)果如下表所示 :
除了數(shù)據(jù)集的數(shù)量顯著高于其他數(shù)據(jù)集外,可以看到其具有最高的SR指標(biāo),意味數(shù)據(jù)集的質(zhì)量在人類感知下是最高的、熵值第二高意味著圖像中包含的信息也很豐富。
研究人員將數(shù)據(jù)集按照分辨率分為了HD(720p)和SD(360p)兩個(gè)子集,其指標(biāo)在數(shù)據(jù)集比較中都處于top2的范圍內(nèi)。
除了數(shù)據(jù)集本身的比較外,研究人員還利用這一數(shù)據(jù)集重新訓(xùn)練了幾個(gè)關(guān)鍵的立體視覺任務(wù)模型,都得到了大幅的性能提升。
針對(duì)圖像超分辨任務(wù),采用了PASSRNet模型進(jìn)行4x圖像超分辨,在Holopix50k數(shù)據(jù)集上訓(xùn)練的結(jié)果與Flickr1024上的結(jié)果相比具有非常大的性能提升。下表顯示了隨著訓(xùn)練數(shù)據(jù)集的增加,得到的模型在不同測(cè)試集上的結(jié)果也有著顯著提升。
下圖可以看到基于這一大型數(shù)據(jù)集訓(xùn)練的結(jié)果要明顯優(yōu)于Flickr1024數(shù)據(jù)集的結(jié)果,細(xì)節(jié)得到更為豐富的重建:

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會(huì)深圳站
-
11月7日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
即日-11.25立即下載>>> 費(fèi)斯托白皮書《柔性:汽車生產(chǎn)未來的關(guān)鍵》
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
11月28日立即下載>> 【白皮書】精準(zhǔn)洞察 無線掌控——283FC智能自檢萬用表
推薦專題
-
8 每日AI全球觀察
- 1 特斯拉工人被故障機(jī)器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時(shí)代,阿里云想當(dāng)“安卓” ,那誰是“蘋果”?
- 4 拐點(diǎn)已至!匯川領(lǐng)跑工控、埃斯頓份額第一、新時(shí)達(dá)海爾賦能扭虧為盈
- 5 硬剛英偉達(dá)!華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
- 6 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回
- 7 L3自動(dòng)駕駛延期,逼出車企技術(shù)自我淘汰
- 8 谷歌“香蕉”爆火啟示:國產(chǎn)垂類AI的危機(jī)還是轉(zhuǎn)機(jī)?
- 9 00后華裔女生靠兩部AI電影狂賺7.8億人民幣,AI正式進(jìn)軍好萊塢
- 10 機(jī)器人9月大事件|3家國產(chǎn)機(jī)器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 生產(chǎn)部總監(jiān) 廣東省/廣州市
- 資深管理人員 廣東省/江門市
- Regional Sales Manager 廣東省/深圳市
- 銷售總監(jiān) 廣東省/深圳市
- 結(jié)構(gòu)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 技術(shù)專家 廣東省/江門市
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 封裝工程師 北京市/海淀區(qū)