日前,兩年一度的計算機視覺領域頂級學術會議 ICCV 在加拿大蒙特利爾圓滿閉幕。在此期間,與大會同期舉行的首屆LargeFineFoodAI技術研討會,由美團視覺智能中心聯(lián)合中科院計算所、北京智源、巴塞羅那大學在Kaggle競賽平臺上共同主辦,會議核心聚焦計算機視覺技術在大規(guī)模細粒度食品分析領域的應用。

首屆 LargeFineFoodAI 比賽分為 Recognition 和 Retrieval 兩個賽道,根據(jù)研討會評選結果得知,深蘭DeepBlueAI團隊在Large-ScaleFine-Grained Food Retrieval 賽道中取得了冠軍的成績。

01

賽題介紹

與通用圖像識別及檢索相比,食品細粒度識別及檢索技術難度更大。許多不同類型的食品外觀看起來可能非常相近,而同一種類型的食品也可能由于做法不同看起來差異較大,此外光線、拍攝角度、不同的拍攝背景都可能對算法的精度產生影響,即便對于專業(yè)人員也較難快速準確的進行辨別。

另一方面,相關技術具有廣泛的應用場景和實際的應用價值,例如降低商家端食品圖片的審核成本,提升C端食品圖片和視頻的分發(fā)效率等。美團作為國內領先的生活服務平臺,準確把握住消費升級趨勢給餐飲行業(yè)的經營、消費方式帶來的革命性變化,率先提出借助計算機視覺算法對食品圖像進行細粒度分析,來快速響應和滿足商戶和用戶大量多樣的在線食品圖像審核、管理、瀏覽、評價等需求。

本次挑戰(zhàn)賽所用數(shù)據(jù)集來自美團自建數(shù)據(jù)集"Food2K",該數(shù)據(jù)集每一張美食圖片均由不同個人,采用不同設備,在不同環(huán)境場景下拍攝獲取,是難得的可以公正評價算法魯棒性和效果的圖片數(shù)據(jù),挑戰(zhàn)也非常大。并且所有圖像均由美團公司的食品專家進行評估,確保了數(shù)據(jù)的高質量。相比其他主流食品圖像識別數(shù)據(jù)集,"Food2K"數(shù)據(jù)集完全人工標注,數(shù)據(jù)集噪聲比例控制在 1% 以內;數(shù)據(jù)分布與真實場景相符,不平衡現(xiàn)象顯著;而且類別粒度更細。以披薩為例,主流數(shù)據(jù)集(例如Food-101)僅具有披薩類,而"Food2K"進一步將其劃分為多種多樣的披薩,如鮮蝦披薩、榴蓮披薩等。

02

評測指標

此外,為了進一步推進食品視覺分析領域的研究與實踐,吸引更多行業(yè)相關團隊關注參與,美團發(fā)起了以LargeFineFoodAI為主題的挑戰(zhàn)賽。該競賽將分為兩大賽道,其一是“大規(guī)模食品圖像細粒度識別”,將采用Food1K數(shù)據(jù)集(包含1500種類別中的1000種食物類別),通過Top-1分類準確率進行算法評估;其二是“大規(guī)模食品圖像細粒度檢索”,將使用同賽道一的訓練和驗證集,使用剩余的Food500作為測試集,使用MAP@100進行算法評估。

03

團隊成績

團隊成績排名

獲獎證書

04

題目特點以及常用方法

圖像檢問題現(xiàn)有研究比較多,但對于大規(guī)模、細粒度的圖像檢索比較新。圖像檢索最主要的就是特征提取網絡,現(xiàn)有的的特征提取網絡主要基于卷積神經網絡如ResNet、ResNest和EfficientNet等,無法像transformer一樣提取到更加豐富、區(qū)分度更高的特征。提取完特征后,在度量兩張圖片相似度的階段單純使用余弦距離來計算精度很低,DeepBlueAI團隊使用ReRank的方法將歐式距離和雅可比距離加權來度量query和gallery之間的相似度。

05

比賽數(shù)據(jù)與數(shù)據(jù)分析

本次比賽數(shù)據(jù)集包含超過1000個細粒度食物類別和超過50000張圖像的數(shù)據(jù)集。它包含西餐和中餐,每個類別的圖像數(shù)量在范圍內[153; 1999],與現(xiàn)有的食物數(shù)據(jù)集相比,顯示出更大的類別不平衡。下圖顯示了它的本體和數(shù)據(jù)集的詳細統(tǒng)計信息:

從圖中可以看出,LargeFoodAI數(shù)據(jù)集,具有類別多、細粒度和類別不平衡等特點。

06

PIPELINE

如下圖所示,DeepBlueAI團隊首先采用五折交叉驗證的方法對數(shù)據(jù)進行劃分;然后用Swin Transfomrer作為主干網絡提取特征;接著用BNNeck模塊對所提特征進行歸一化操作;最后使用交叉熵和label smooth函數(shù)對模型進行優(yōu)化。

07

實驗模型

Swin Transforme主干網絡

DeepBlueAI團隊基于Swin Transformer主要實驗了4種結構,swin_base_224, swin_base_384、swin_large_224和swin_large_384模型。下圖為Swin Transfomer的結構圖:

Sharpness-AwareMinimization

(SAM)優(yōu)化器

SAM優(yōu)化器通過一種新的、有效的方法來同時減小損失值和損失的銳度,在領域內尋找具有均勻的低損失值的參數(shù)。該方法通過求解最小-最大優(yōu)化問題,使得梯度下降可以有效地執(zhí)行,在各種基準數(shù)據(jù)集上都改善了模型得泛化能力。下圖為SGD優(yōu)化器和SAM優(yōu)化器的示意圖:

CutMix數(shù)據(jù)增強

DeepBlueAI團隊采用CutMix數(shù)據(jù)增強的方法來擴充數(shù)據(jù)的多樣性,同時也能提高模型對相似類別數(shù)據(jù)的區(qū)分度。

Rerank_qe

DeepBlueAI團隊將所有數(shù)據(jù)中和query特征最為相似的40個特征的平均值作為新的query特征,用0．25的權值對歐式距離和雅可比距離進行加權。ReRank方式如下圖所示:

08

模型融合

模型融合是算法大賽中常用的提高模型精度方法,DeepBlueAI團隊最終選擇了swinb_224、swinb_384、swinl_224和swinl_384等不同主干和訓練尺度生成的特征進行模型融合,最終模型融合的結果為82．813mAP@100,取得了本次比賽第一的成績。

# 深蘭DeepBlueAI團隊總結

我們在最初做這個任務的時候,嘗試了許多基于CNN的主干網絡,如ResNet、ResNeSt和EfficientNet等,但是發(fā)現(xiàn)這些主干網絡無論分類還是檢索的效果都不是很好。在分類任務使用Swin Transformer取得遠優(yōu)于CNN網絡的效果之后,就把它移植到檢索任務里來,取得了不錯的成績。在進一步的使用ReRank、Ensemble等檢索任務常用trick之后,取得了檢索任務第一的成績。

在數(shù)據(jù)處理方面,我們發(fā)現(xiàn)CutMix方法有效的增強了不同類別之間特征的區(qū)分度。SAM優(yōu)化器和LabelSmooth損失函數(shù)的采用,也進一步的提高了模型的泛化能力和識別精度。