CVPR 2020: 8比特數(shù)值也能訓(xùn)練模型?商湯提出訓(xùn)練加速新算法
實驗結(jié)果
圖像分類任務(wù):
本文在CIFAR10和ImageNet等圖像分類數(shù)據(jù)集進行INT8訓(xùn)練實驗。從下表結(jié)果中可以看出,在大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)中均取得了比現(xiàn)有最好方法更優(yōu)的精度,并且首次在MobileNet、Inception等網(wǎng)絡(luò)上進行量化訓(xùn)練實驗,精度損失也在1.5%以內(nèi)。
目標(biāo)檢測任務(wù):
同時,本文也首次嘗試在PASCAL和COCO等目標(biāo)檢測數(shù)據(jù)集上進行INT8訓(xùn)練實驗,精度損失也在2%以內(nèi)。
已有的少量探究梯度量化的論文[4]均未報告算法在實際訓(xùn)練任務(wù)中的真實加速性能,為了最大限度將方法實用化,本文在GeForce GTX1080TI顯卡上編寫并優(yōu)化了用于支持INT8訓(xùn)練的卷積前向和后向計算核心。實測結(jié)果表明,使用INT8卷積計算的前向和后向過程相比于浮點計算有明顯的加速,其中前向過程平均加速1.63倍,后向過程平均加速1.94倍。如下圖所示:
同時,本文在實際訓(xùn)練過程中進行了完整的端到端測試,可以看到,INT8訓(xùn)練可以將ResNet50的一輪訓(xùn)練過程從0.360秒降低到0.293秒,整體訓(xùn)練過程提速了22%。
References
[1] Ruihao Gong, Xianglong Liu, Shenghu Jiang, TianxiangLi,Peng Hu, Jiazhen Lin, Fengwei Yu, and Junjie Yan. Differen-tiable softquantization: Bridging full-precisionand low-bitneural networks. In ICCV, October 2019.
[2] RundongLi, Yan Wang, Feng Liang, Hongwei Qin, Junjie Yan, and Rui Fan. Fully quantizednetwork for object detection. In The IEEE Conference on Computer Vision andPattern Recognition (CVPR), June 2019.
[3] Benoit Jacob,Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, HartwigAdam, and Dmitry Kalenichenko. Quantization and training of neural networks forefficient integer-arithmetic-only inference. 2018 IEEE Conference on ComputerVision and Pattern Recognition(CVPR), June 2018.
[4] Yukuan Yang, Shuang Wu, LeiDeng, Tianyi Yan, Yuan Xie, and Guoqi Li. Training high-performance andlarge-scale deep neural networks with full 8-bit integers, 2019.

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
-
8 每日AI全球觀察
- 1 特斯拉工人被故障機器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時代,阿里云想當(dāng)“安卓” ,那誰是“蘋果”?
- 4 拐點已至!匯川領(lǐng)跑工控、埃斯頓份額第一、新時達(dá)海爾賦能扭虧為盈
- 5 硬剛英偉達(dá)!華為發(fā)布全球最強算力超節(jié)點和集群
- 6 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回
- 7 L3自動駕駛延期,逼出車企技術(shù)自我淘汰
- 8 谷歌“香蕉”爆火啟示:國產(chǎn)垂類AI的危機還是轉(zhuǎn)機?
- 9 00后華裔女生靠兩部AI電影狂賺7.8億人民幣,AI正式進軍好萊塢
- 10 機器人9月大事件|3家國產(chǎn)機器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 生產(chǎn)部總監(jiān) 廣東省/廣州市
- 資深管理人員 廣東省/江門市
- Regional Sales Manager 廣東省/深圳市
- 銷售總監(jiān) 廣東省/深圳市
- 結(jié)構(gòu)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 自動化高級工程師 廣東省/深圳市
- 技術(shù)專家 廣東省/江門市
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 封裝工程師 北京市/海淀區(qū)