碼隆科技提出跨越時空的樣本配對,解決深度度量學(xué)習(xí)痛點(diǎn)
作者: 將門投資企業(yè) 碼隆科技研究團(tuán)隊將門好聲音第·54·期CVPR 2020系列分享第·13·期將門投資企業(yè)——碼隆科技今年在 CVPR 多有斬獲。在大會論文接受率僅有 22%、被稱為“十年來最難的一屆”的情況下,有兩篇論文入選 CVPR 2020,本文將為大家解讀其中一篇Oral:《Cross-Batch Memory for Embedding Learning》 。
導(dǎo)讀:
該論文提出了 XBM 方法,能夠用極小的代價,提供巨量的樣本對,為 pair-based 的深度度量學(xué)習(xí)方法取得巨大的效果提升。
這種提升難例挖掘效果的方式突破了過去兩個傳統(tǒng)思路:加權(quán)和聚類,并且效果也更加簡單、直接,很好地解決了深度度量學(xué)習(xí)的痛點(diǎn)。XBM 在多個國際通用的圖像搜索標(biāo)準(zhǔn)數(shù)據(jù)庫上(比如 SOP、In-Shop 和 VehicleID 等),取得了目前最好的結(jié)果。
一、背景和動機(jī)
難例挖掘是深度度量學(xué)習(xí)領(lǐng)域中的核心問題,最近有頗多研究都通過改進(jìn)采樣或者加權(quán)方案來解決這一難題,目前主要兩種思路: 第一種思路是在 mini-batch 內(nèi)下功夫,對于 mini-batch 內(nèi)的樣本對,從各種角度去衡量其難度,然后給予難樣本對更高權(quán)重,比如 N-pairs、Lifted Struture Loss、MS Loss 使用的就是此種方案。 第二種思路是在 mini-batch 的生成做文章,比如 HTL、Divide and Conquer,他們的做法雖然看上去各有不同,但是整體思路有異曲同工之處。大致思路都是對整個數(shù)據(jù)集進(jìn)行聚類,每次生成 mini-batch 不是從整個數(shù)據(jù)集去采樣,而是從一個子集,或者說一個聚類小簇中去采樣。這樣一來,由于采樣范圍本身更加集中,生成的 mini-batch 中難例的比例自然也會更大,某種程度上也能解決問題。 然而,無論是第一種方法的額外注重難樣本,還是第二種方法的小范圍采樣,他們的難例的挖掘能力其實(shí)依然有一個天花板——那就是 mini-batch 的大小。這個 mini-batch 的大小決定了在模型中單次迭代更新中,可以利用的樣本對的總量。因此,即使是很精細(xì)的采樣加權(quán)方法,在 mini-batch 大小有限的情況下,也很難有頂級的表現(xiàn)。我們在三個標(biāo)準(zhǔn)圖像檢索數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn),基于三種標(biāo)準(zhǔn)的 pair-based 方法,我們發(fā)現(xiàn)隨著 mini-batch 變大,效果(Recall@1)大幅提升。實(shí)驗(yàn)結(jié)果如下圖:
可以看出,隨著 mini-batch 的增大,效果有顯著提升。但是,在實(shí)際工業(yè)應(yīng)用中 mini-batch 越大,訓(xùn)練所需要的 GPU 或 TPU 就越多,即使計算資源有充分保證,在多機(jī)多卡的訓(xùn)練過程中,如何在工程上保證通信的效率也是一個有挑戰(zhàn)的問題。
二、特征偏移
由此,我們希望另辟蹊徑,得以在 mini-batch 有限的情況下,也能獲得充足的難例樣本對。首先,必須突破深度度量學(xué)習(xí)一直以來的一個思維局限——僅在對當(dāng)前 mini-batch里的樣本對兩兩比較,形成樣本對。以此我們引入了 XBM(Cross-batch Memory)這一方法來突破局限,跨越時空進(jìn)行難例挖掘,把過去的 mini-batch 的樣本提取的特征也拿過來與當(dāng)前 mini-batch 作比較,構(gòu)建樣本對。
我們將樣本特征隨著模型訓(xùn)練的偏移量,稱之為特征偏移(Feature Drift)。從上圖我們發(fā)現(xiàn),在訓(xùn)練的一開始,模型還沒有穩(wěn)定,特征劇烈變化,每過 100 次迭代,特征偏移大約 0.7 以上。但是,隨著訓(xùn)練的進(jìn)行,模型逐步穩(wěn)定,特征的偏移也變小。我們稱這個現(xiàn)象為慢偏移(Slow Drift),這是我們可以利用的一點(diǎn)。

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月23日火熱報名中>> 2025是德科技創(chuàng)新技術(shù)峰會
-
10月23日立即報名>> Works With 開發(fā)者大會深圳站
-
10月24日立即參評>> 【評選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評選
-
即日-11.25立即下載>>> 費(fèi)斯托白皮書《柔性:汽車生產(chǎn)未來的關(guān)鍵》
-
11月27日立即報名>> 【工程師系列】汽車電子技術(shù)在線大會
-
12月18日立即報名>> 【線下會議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
推薦專題
-
9 每日AI全球觀察
- 1 特斯拉工人被故障機(jī)器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時代,阿里云想當(dāng)“安卓” ,那誰是“蘋果”?
- 4 拐點(diǎn)已至!匯川領(lǐng)跑工控、埃斯頓份額第一、新時達(dá)海爾賦能扭虧為盈
- 5 硬剛英偉達(dá)!華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
- 6 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回
- 7 00后華裔女生靠兩部AI電影狂賺7.8億人民幣,AI正式進(jìn)軍好萊塢
- 8 谷歌“香蕉”爆火啟示:國產(chǎn)垂類AI的危機(jī)還是轉(zhuǎn)機(jī)?
- 9 機(jī)器人9月大事件|3家國產(chǎn)機(jī)器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 10 美光:AI Capex瘋投不止,終于要拉起存儲超級周期了?
- 生產(chǎn)部總監(jiān) 廣東省/廣州市
- 資深管理人員 廣東省/江門市
- Regional Sales Manager 廣東省/深圳市
- 銷售總監(jiān) 廣東省/深圳市
- 結(jié)構(gòu)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 自動化高級工程師 廣東省/深圳市
- 技術(shù)專家 廣東省/江門市
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 封裝工程師 北京市/海淀區(qū)