梁文鋒登《自然》封面,曝DeepSeek增量訓(xùn)練成本僅29.4萬美元!
文 / 汪淼 美編 / 顧青青 出品 / 網(wǎng)界
中國團隊登上了《自然》封面。
9月18日,由DeepSeek團隊研發(fā)、梁文鋒擔(dān)任通訊作者的DeepSeek-R1推理模型研究論文登上《自然》封面。
但比“登刊”更狠的是,他們干脆自曝家底,DeepSeek-R1的增量訓(xùn)練成本,只要29.4萬美元。
要知道,過去OpenAI、谷歌練個大模型,動不動燒掉幾千萬美元。而DeepSeek只用512張英偉達H800顯卡、耗時80小時,就完成了核心訓(xùn)練。這筆賬,相當(dāng)于用買一輛跑車的錢,干出了別人蓋工廠的活。
更關(guān)鍵的是,《自然》親自下場蓋章,在評論報道文章中用了“里程碑式論文揭示DeepSeekAI模型的秘密”、“創(chuàng)造歷史”等詞匯表達了對DeepSeek贊賞和肯定。這幾乎是在打臉整個行業(yè)長期以來的“黑箱操作”。
01 29.4萬美元背后
當(dāng)DeepSeek在論文里寫下“29.4萬美元”這個數(shù)字時,很多人第一反應(yīng)是:是不是少寫了個零?
但數(shù)據(jù)是實的:512張H800顯卡、80小時訓(xùn)練、每GPU小時租賃價2美元。而且,這還只是增量成本,是指在已經(jīng)花掉600萬美元開發(fā)的基座模型(DeepSeek-V3Base)之上,做強化學(xué)習(xí)的開銷。
為什么這么便宜? 關(guān)鍵是他們用了“純強化學(xué)習(xí)”框架(GRPO)。簡單說,就是只告訴模型“答案對不對”,而不教它“步驟該怎么寫”。模型自己琢磨怎么解題,答對了給獎勵,答錯了就調(diào)整。這種“放養(yǎng)式訓(xùn)練”反而逼出了它的推理能力。
但便宜也引來質(zhì)疑。年初就有人猜:是不是偷偷用了OpenAI的GPT-4生成數(shù)據(jù)來做蒸餾? 否則怎么可能這么低成本達到高性能?
這次《自然》論文里,DeepSeek直接回應(yīng):訓(xùn)練數(shù)據(jù)全來自普通網(wǎng)頁和電子書,雖然網(wǎng)上可能混了GPT-4生成的內(nèi)容,但“絕非故意加入”。他們還補充了去污染流程,光數(shù)學(xué)題就刪了600萬條可能泄露測試答案的數(shù)據(jù)。
02《自然》為什么破例?
AI論文登《自然》不稀奇,但AlphaGo、AlphaFold都是首發(fā)。而DeepSeek-R1的論文1月就發(fā)在arXiv上,現(xiàn)在卻還能上封面,《自然》甚至為它配發(fā)社論,這幾乎是從未有過的待遇。
原因很簡單:它是第一個愿意被“扒光”的大模型。8位評審專家提了上百個問題,從“數(shù)據(jù)是否污染”到“推理步驟是不是瞎編的”,甚至摳到單詞單復(fù)數(shù)用法。DeepSeek團隊寫了64頁回復(fù),幾乎等于重寫半篇論文。
比如評審問:“你說模型開源了,但‘開源’定義模糊,到底開了多少?”團隊立刻補上數(shù)據(jù)鏈接和授權(quán)細節(jié)。
還有人擔(dān)心:“模型會不會為了拿獎勵亂寫步驟?” 他們馬上加實驗證明“步驟與答案的一致性”。
這種透明,戳中了AI行業(yè)的痛點。過去大模型廠商總說自己“遙遙領(lǐng)先”,但測試數(shù)據(jù)不公開、訓(xùn)練方法遮遮掩掩!蹲匀弧飞缯撜f得直接:AI宣傳未經(jīng)證實,可能對社會帶來真實風(fēng)險。
而DeepSeek把代碼、數(shù)據(jù)、訓(xùn)練日志全攤開,等于告訴行業(yè):以后想讓人信你,先學(xué)我“曬數(shù)據(jù)”。
03 國產(chǎn)AI芯片的機會來了?
29.4萬美元的成本,不僅打了歐美巨頭的臉,還可能給國產(chǎn)芯片撕開一道口子。DeepSeek在論文里沒提任何芯片公司,但明眼人都能算賬:如果訓(xùn)練成本降到原來的十分之一,那是不是用性價比更高的國產(chǎn)芯片也能跑?
華為昇騰、寒武紀(jì)這些企業(yè)一直被卡在“生態(tài)不足”上,客戶嫌性能不夠穩(wěn),不敢大規(guī)模用。但如果算法能優(yōu)化到DeepSeek這個程度,硬件壓力會小很多。
DeepSeek創(chuàng)始人梁文鋒
事實上,華為和浙大最近已經(jīng)聯(lián)合發(fā)了基于昇騰芯片的DeepSeek-R1-Safe模型,雖然這是另一個項目,但證明了一件事:國產(chǎn)芯片能扛住千億級大模型訓(xùn)練。
不過業(yè)內(nèi)人也提醒:這還只是“可能”,不是“必然”。國產(chǎn)芯片真要接住這波機會,還得在軟件生態(tài)和穩(wěn)定性上下硬功夫。
總結(jié)開放、透明才是AI的未來
DeepSeek這次登上《自然》封面,不只是一個人的成功,也不只是一個公司的成功。它代表中國AI行業(yè)真正走到了世界前沿。
DeepSeek也證明了三件事:第一,大模型不一定靠燒錢,算法優(yōu)化能大幅降低成本;第二,AI行業(yè)不能再閉門吹牛,必須接受同行評審的檢驗;第三,中國團隊有能力從技術(shù)追隨者變成規(guī)則制定者。
但DeepSeek的價值不止于“被膜拜”,《人民日報》說得好:“它的最大價值是被超越。”
如果后續(xù)國產(chǎn)模型都能用更低成本、更透明的方式練出來,如果國產(chǎn)芯片能借此打開市場,如果AI研發(fā)從此告別“黑箱”走向開放,那今天這篇論文,才會真正變成中國AI的轉(zhuǎn)折點。
畢竟,梁文鋒自己說過:“中國AI不能永遠做跟隨者。”現(xiàn)在,他們真的走到了前沿。
原文標(biāo)題 : 梁文鋒登《自然》封面,曝DeepSeek增量訓(xùn)練成本僅29.4萬美元!

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 特斯拉工人被故障機器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 人形機器人廠商,正在批量復(fù)刻宇樹G1
- 4 AI 時代,阿里云想當(dāng)“安卓” ,那誰是“蘋果”?
- 5 特斯拉機器人獲得10,000臺訂單?馬斯克抄底成功
- 6 華為公布昇騰芯片三年計劃,自研HBM曝光
- 7 硬剛英偉達!華為發(fā)布全球最強算力超節(jié)點和集群
- 8 機器人9月大事件|3家國產(chǎn)機器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 9 谷歌“香蕉”爆火啟示:國產(chǎn)垂類AI的危機還是轉(zhuǎn)機?
- 10 美光:AI Capex瘋投不止,終于要拉起存儲超級周期了?