GU－net

本文設(shè)計(jì)了一個(gè)下采樣模塊，并將其重復(fù)堆疊 4 次以形成下采樣路徑，而將一個(gè)上采樣模塊重復(fù)堆疊兩次以構(gòu)成上采樣方式。類(lèi)似 FPN、GU－net 生成三張點(diǎn)特征圖的特征金字塔。下采樣使用的是 FPS，然后通過(guò)KNN構(gòu)建局部區(qū)域，再使用 SA－GConv 更新特征，上采樣模塊的過(guò)程與下采樣模塊的過(guò)程相反，主要由 SA－GConv 執(zhí)行。

候選生成器

GU－net 生成了包含多級(jí)語(yǔ)義的三張點(diǎn)特征圖。一些先前的方法（如 VoteNet）僅使用一個(gè)特征圖進(jìn)行目標(biāo)預(yù)測(cè)。即使通過(guò)在上采樣過(guò)程中融合較低層的特征來(lái)計(jì)算較高層的特征，由于不同層的特征提供了各種語(yǔ)義，因此將多層特征一起用于候選生成會(huì)更加有益。本文提出了一種候選生成器，以改進(jìn)的投票模塊作為主要結(jié)構(gòu)來(lái)預(yù)測(cè)對(duì)象中心，該模型將多級(jí)特征轉(zhuǎn)換為相同的特征空間。接下來(lái)為了聚合特征，通過(guò) FPS 保留 Np 的投票，該做法與 VoteNet 類(lèi)似，從而融合多級(jí)特征以預(yù)測(cè)邊界框及其類(lèi)別。

候選推理模塊

通過(guò)以上幾步，多層局部的語(yǔ)義信息已經(jīng)被很好的捕捉到了，但全局信息還沒(méi)有很好的學(xué)到，或者說(shuō)可能有些目標(biāo)在點(diǎn)云中只體現(xiàn)出很小的一部分表面的點(diǎn)，在這樣少的信息下很難正確的將其識(shí)別出來(lái)。其推理過(guò)程為：

其中 Hp 表示候選特征 tensor，P 表示候選的相對(duì)位置

論文實(shí)驗(yàn)

本文在 SUN RGB－D 和 ScanNet－V2 兩個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

此外，本文還進(jìn)行了消融實(shí)驗(yàn)以證明各模快的有效性。

結(jié)論

本文提出了一種新穎的 HGNet 框架，該框架通過(guò)層級(jí)圖建模學(xué)習(xí)語(yǔ)義。

具體來(lái)說(shuō)，作者提出了一種新穎且輕巧的形狀注意圖卷積來(lái)捕獲局部形狀語(yǔ)義，該語(yǔ)義聚合了點(diǎn)的相對(duì)幾何位置的特征�；�于 SA－GConv 和 SA－DeGConv 構(gòu)建了 GU－net，生成了包含多級(jí)語(yǔ)義的特征金字塔。要素金字塔投票的點(diǎn)將位于相應(yīng)的對(duì)象中心，并且進(jìn)一步聚合多級(jí)語(yǔ)義以生成候選。然后使用 ProRe 模塊在候選之間合并和傳播特征，從而利用全局場(chǎng)景語(yǔ)義來(lái)提高檢測(cè)性能。最后，對(duì)邊界框和類(lèi)別進(jìn)行了預(yù)測(cè)。