人工智能和對象存儲,能擦出什么樣的火花?
NVIDIA收購SwiftStack用來做什么呢?
首先,我們來看一下做為事實上的標準的AWS S3,從骨子里說,它代表的對象存儲,是一種在線的海量數(shù)據(jù)較低成本的存儲方式,適合跨地域讀寫;因此,雖然備份歸檔是對象存儲的使用場景之一,但只是做備份歸檔,其實是委屈了對象存儲。
其次,對象存儲的高并發(fā),特別適合前端呈現(xiàn)分布式負載的場景。AI場景的使用,包括AI訓(xùn)練、AI推理,是由許許多多個任務(wù)并發(fā)進行的,任務(wù)與任務(wù)之間幾乎沒有數(shù)據(jù)的交互,因此很少考慮存儲通常要顧及的寫一致性。
因此,在我們看來,NVIDIA收購SwiftStack或許有如下幾個原因:
1)NVIDIA欲整合AI基礎(chǔ)架構(gòu)
NVIDIA是一個非常注重生態(tài)的公司,它的版圖里應(yīng)該不僅僅是計算以及衍生出來的各個組件,從近兩年的動作來看,NVIDIA想整合整個AI基礎(chǔ)架構(gòu)。2019年3月11日NVIDIA以69億美元收購 Mellanox;2020年3月6日宣布收購SwiftStack。
2)SwiftStack具備數(shù)據(jù)跨云管理和高并發(fā)的優(yōu)勢
據(jù)報道:"Manuvir Das表示,NVIDIA尤其喜歡SwiftStack的1space技術(shù),該技術(shù)可以為忙于處理緩存和分層等任務(wù)的GPU助一臂之力。
SwiftStack V7于2019年發(fā)布,提供數(shù)PB的規(guī)模,可處理數(shù)千個worker節(jié)點同時訪問數(shù)據(jù)的任務(wù)。它提供了超過100GB /秒的吞吐速度,性能和容量都能實現(xiàn)線性擴展。
1space是NVIDIA收購Swiftstack的主要原因,這是一種文件連接件,使云原生應(yīng)用程序可以通過S3或Swift對象API訪問本地數(shù)據(jù)或AWS數(shù)據(jù),并可以確保不斷向數(shù)據(jù)提供計算資源”
我個人認為,AI訓(xùn)練有個特點,它一次性將原始訓(xùn)練集的數(shù)據(jù)加載到計算節(jié)點的內(nèi)存或者SSD后,需要經(jīng)過一段較長的時間(也即計算或說訓(xùn)練),才會再次讀取存儲上的數(shù)據(jù)。因此,對象存儲的延遲可能不會構(gòu)成障礙,這一點可以通過高并發(fā)來彌補。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
-
8 每日AI全球觀察
- 1 特斯拉工人被故障機器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時代,阿里云想當“安卓” ,那誰是“蘋果”?
- 4 拐點已至!匯川領(lǐng)跑工控、埃斯頓份額第一、新時達海爾賦能扭虧為盈
- 5 硬剛英偉達!華為發(fā)布全球最強算力超節(jié)點和集群
- 6 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回
- 7 L3自動駕駛延期,逼出車企技術(shù)自我淘汰
- 8 谷歌“香蕉”爆火啟示:國產(chǎn)垂類AI的危機還是轉(zhuǎn)機?
- 9 00后華裔女生靠兩部AI電影狂賺7.8億人民幣,AI正式進軍好萊塢
- 10 機器人9月大事件|3家國產(chǎn)機器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市