訂閱
糾錯
加入自媒體

梁文鋒登《自然》封面,曝DeepSeek增量訓(xùn)練成本僅29.4萬美元!

文 / 汪淼 美編 / 顧青青 出品 / 網(wǎng)界

中國團隊登上了《自然》封面。

9月18日,由DeepSeek團隊研發(fā)、梁文鋒擔(dān)任通訊作者的DeepSeek-R1推理模型研究論文登上《自然》封面。

但比“登刊”更狠的是,他們干脆自曝家底,DeepSeek-R1的增量訓(xùn)練成本,只要29.4萬美元。

要知道,過去OpenAI、谷歌練個大模型,動不動燒掉幾千萬美元。而DeepSeek只用512張英偉達H800顯卡、耗時80小時,就完成了核心訓(xùn)練。這筆賬,相當(dāng)于用買一輛跑車的錢,干出了別人蓋工廠的活。

更關(guān)鍵的是,《自然》親自下場蓋章,在評論報道文章中用了“里程碑式論文揭示DeepSeekAI模型的秘密”、“創(chuàng)造歷史”等詞匯表達了對DeepSeek贊賞和肯定。這幾乎是在打臉整個行業(yè)長期以來的“黑箱操作”。

01 29.4萬美元背后

當(dāng)DeepSeek在論文里寫下“29.4萬美元”這個數(shù)字時,很多人第一反應(yīng)是:是不是少寫了個零?

但數(shù)據(jù)是實的:512張H800顯卡、80小時訓(xùn)練、每GPU小時租賃價2美元。而且,這還只是增量成本,是指在已經(jīng)花掉600萬美元開發(fā)的基座模型(DeepSeek-V3Base)之上,做強化學(xué)習(xí)的開銷。

為什么這么便宜? 關(guān)鍵是他們用了“純強化學(xué)習(xí)”框架(GRPO)。簡單說,就是只告訴模型“答案對不對”,而不教它“步驟該怎么寫”。模型自己琢磨怎么解題,答對了給獎勵,答錯了就調(diào)整。這種“放養(yǎng)式訓(xùn)練”反而逼出了它的推理能力。

但便宜也引來質(zhì)疑。年初就有人猜:是不是偷偷用了OpenAI的GPT-4生成數(shù)據(jù)來做蒸餾? 否則怎么可能這么低成本達到高性能?

這次《自然》論文里,DeepSeek直接回應(yīng):訓(xùn)練數(shù)據(jù)全來自普通網(wǎng)頁和電子書,雖然網(wǎng)上可能混了GPT-4生成的內(nèi)容,但“絕非故意加入”。他們還補充了去污染流程,光數(shù)學(xué)題就刪了600萬條可能泄露測試答案的數(shù)據(jù)。

02《自然》為什么破例?

AI論文登《自然》不稀奇,但AlphaGo、AlphaFold都是首發(fā)。而DeepSeek-R1的論文1月就發(fā)在arXiv上,現(xiàn)在卻還能上封面,《自然》甚至為它配發(fā)社論,這幾乎是從未有過的待遇。

原因很簡單:它是第一個愿意被“扒光”的大模型。8位評審專家提了上百個問題,從“數(shù)據(jù)是否污染”到“推理步驟是不是瞎編的”,甚至摳到單詞單復(fù)數(shù)用法。DeepSeek團隊寫了64頁回復(fù),幾乎等于重寫半篇論文。

比如評審問:“你說模型開源了,但‘開源’定義模糊,到底開了多少?”團隊立刻補上數(shù)據(jù)鏈接和授權(quán)細節(jié)。

還有人擔(dān)心:“模型會不會為了拿獎勵亂寫步驟?” 他們馬上加實驗證明“步驟與答案的一致性”。

這種透明,戳中了AI行業(yè)的痛點。過去大模型廠商總說自己“遙遙領(lǐng)先”,但測試數(shù)據(jù)不公開、訓(xùn)練方法遮遮掩掩!蹲匀弧飞缯撜f得直接:AI宣傳未經(jīng)證實,可能對社會帶來真實風(fēng)險。

而DeepSeek把代碼、數(shù)據(jù)、訓(xùn)練日志全攤開,等于告訴行業(yè):以后想讓人信你,先學(xué)我“曬數(shù)據(jù)”。

03 國產(chǎn)AI芯片的機會來了?

29.4萬美元的成本,不僅打了歐美巨頭的臉,還可能給國產(chǎn)芯片撕開一道口子。DeepSeek在論文里沒提任何芯片公司,但明眼人都能算賬:如果訓(xùn)練成本降到原來的十分之一,那是不是用性價比更高的國產(chǎn)芯片也能跑?

華為昇騰、寒武紀(jì)這些企業(yè)一直被卡在“生態(tài)不足”上,客戶嫌性能不夠穩(wěn),不敢大規(guī)模用。但如果算法能優(yōu)化到DeepSeek這個程度,硬件壓力會小很多。

DeepSeek創(chuàng)始人梁文鋒

事實上,華為和浙大最近已經(jīng)聯(lián)合發(fā)了基于昇騰芯片的DeepSeek-R1-Safe模型,雖然這是另一個項目,但證明了一件事:國產(chǎn)芯片能扛住千億級大模型訓(xùn)練。

不過業(yè)內(nèi)人也提醒:這還只是“可能”,不是“必然”。國產(chǎn)芯片真要接住這波機會,還得在軟件生態(tài)和穩(wěn)定性上下硬功夫。

總結(jié)開放、透明才是AI的未來

DeepSeek這次登上《自然》封面,不只是一個人的成功,也不只是一個公司的成功。它代表中國AI行業(yè)真正走到了世界前沿。

DeepSeek也證明了三件事:第一,大模型不一定靠燒錢,算法優(yōu)化能大幅降低成本;第二,AI行業(yè)不能再閉門吹牛,必須接受同行評審的檢驗;第三,中國團隊有能力從技術(shù)追隨者變成規(guī)則制定者。

但DeepSeek的價值不止于“被膜拜”,《人民日報》說得好:“它的最大價值是被超越。”

如果后續(xù)國產(chǎn)模型都能用更低成本、更透明的方式練出來,如果國產(chǎn)芯片能借此打開市場,如果AI研發(fā)從此告別“黑箱”走向開放,那今天這篇論文,才會真正變成中國AI的轉(zhuǎn)折點。

畢竟,梁文鋒自己說過:“中國AI不能永遠做跟隨者。”現(xiàn)在,他們真的走到了前沿。

       原文標(biāo)題 : 梁文鋒登《自然》封面,曝DeepSeek增量訓(xùn)練成本僅29.4萬美元!

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標(biāo)題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號