作者：Shenghai Yuan等

解讀：AI生成未來

亮點直擊

長視頻防漂移的魯棒性：Helios 能夠在不依賴常見的防漂移啟發(fā)式方法（如自強(qiáng)制、錯誤庫或關(guān)鍵幀采樣）的情況下，生成具有強(qiáng)時間連貫性的分鐘級視頻。這得益于明確模擬漂移和消除重復(fù)運動的新穎訓(xùn)練策略。

實時生成：該模型在不使用 KV 緩存、稀疏/線性注意力或量化等標(biāo)準(zhǔn)加速技術(shù)的情況下，實現(xiàn)了實時速度。這主要歸因于對歷史和噪聲上下文的深度壓縮、采樣步驟的減少以及基礎(chǔ)設(shè)施層面的優(yōu)化。

高效訓(xùn)練：Helios 可以在沒有并行或分片框架的情況下進(jìn)行訓(xùn)練，允許圖像擴(kuò)散規(guī)模的批處理大小，同時將多達(dá)四個 14B 模型適配到 80 GB 的 GPU 內(nèi)存中。Helios 引入了一種統(tǒng)一的輸入表示，原生支持文本到視頻 (T2V)、圖像到視頻 (I2V) 和視頻到視頻 (V2V) 任務(wù)。為了解決實時長視頻生成領(lǐng)域缺乏標(biāo)準(zhǔn)化評估的問題，發(fā)布了 HeliosBench，一個全面的開源基準(zhǔn)測試。

總結(jié)速覽

解決的問題

在視頻生成領(lǐng)域，主流模型通常只能生成 5-10 秒的短視頻，并且生成時間長，難以達(dá)到實時性，更難以擴(kuò)展到更長的視頻時長而不會出現(xiàn)內(nèi)容漂移。盡管有一些方法聲稱能進(jìn)行實時無限視頻生成，但它們通常依賴于容量有限的 1.3B 模型，這限制了其表示復(fù)雜運動和保留高頻細(xì)節(jié)的能力。此外，現(xiàn)有方法常常依賴于“訓(xùn)練即推理”的自強(qiáng)制（Self-Forcing）等抗漂移啟發(fā)式方法，這顯著增加了訓(xùn)練成本，并且漂移的魯棒性與訓(xùn)練期間使用的片段長度緊密相關(guān)，導(dǎo)致在訓(xùn)練范圍之外容易出現(xiàn)嚴(yán)重漂移。

提出的方案

Helios 提出了一個 14B 模型的解決方案，旨在實現(xiàn)實時長視頻生成，同時解決漂移和效率問題。具體方案包括：

統(tǒng)一歷史注入（Unified History Injection）：將長視頻生成視為無限視頻延續(xù)問題，通過表示控制（Representation Control）和引導(dǎo)注意力（Guidance Attention）高效地將歷史上下文注入噪聲上下文，從而將雙向預(yù)訓(xùn)練模型轉(zhuǎn)換為自回歸生成器。

簡易抗漂移（Easy Anti-Drifting）：通過分析典型的漂移模式（位置漂移、顏色漂移和恢復(fù)漂移），提出簡單但有效的訓(xùn)練策略，在訓(xùn)練期間明確模擬漂移，并消除重復(fù)運動的根源（例如，通過相對旋轉(zhuǎn)位置編碼 Relative RoPE）。

深度壓縮流（Deep Compression Flow）：通過多項記憶分塊（Multi-Term Memory Patchification）和金字塔統(tǒng)一預(yù)測器-校正器（Pyramid Unified Predictor Corrector）大幅壓縮歷史和噪聲上下文，并減少采樣步驟，從而顯著降低計算成本和內(nèi)存消耗。

基礎(chǔ)設(shè)施級優(yōu)化：引入了進(jìn)一步加速推理和訓(xùn)練并減少內(nèi)存消耗的優(yōu)化措施，使得 14B 模型能夠在不使用并行或分片框架的情況下進(jìn)行訓(xùn)練。

應(yīng)用的技術(shù)

Helios 融合了多種先進(jìn)技術(shù)，包括：

自回歸擴(kuò)散模型：作為核心架構(gòu)，Helios 是一個 14B 的自回歸擴(kuò)散模型。

統(tǒng)一輸入表示：通過統(tǒng)一輸入表示，模型原生支持文本到視頻（T2V）、圖像到視頻（I2V）和視頻到視頻（V2V）任務(wù)。

相對旋轉(zhuǎn)位置編碼（Relative RoPE）：用于解決位置漂移和重復(fù)運動。

第一幀錨定（First-Frame Anchor）：在訓(xùn)練和推理過程中保留第一幀作為全局視覺錨點，以緩解顏色漂移。

幀感知損壞（Frame-Aware Corrupt）：通過模擬歷史漂移來提高模型對不完美歷史的魯棒性。

多項記憶分塊（Multi-Term Memory Patchification）：通過分層上下文窗口壓縮歷史上下文。

金字塔統(tǒng)一預(yù)測器-校正器（Pyramid Unified Predictor Corrector）：多尺度采樣器，用于減少噪聲上下文的冗余和計算量。

對抗分層蒸餾（Adversarial Hierarchical Distillation）：純教師強(qiáng)制方法，將采樣步驟從 50 減少到 3。

基礎(chǔ)設(shè)施級優(yōu)化：包括 Flash Normalization 和 Flash RoPE 等 Triton 優(yōu)化內(nèi)核。

達(dá)到的效果

Helios 在性能上取得了顯著突破：

實時性能：在單個 NVIDIA H100 GPU 上，Helios 實現(xiàn)了 19.5 FPS 的實時視頻生成速度，甚至比一些 1.3B 模型更快。

分鐘級視頻生成：能夠生成分鐘級別的長視頻，并保持高質(zhì)量和強(qiáng)大的時間連貫性，有效克服了傳統(tǒng)模型的漂移問題。

高質(zhì)量輸出：在短視頻和長視頻生成方面，Helios 始終優(yōu)于現(xiàn)有方法，并在視覺質(zhì)量、文本對齊和運動動態(tài)方面表現(xiàn)出色。

訓(xùn)練效率：實現(xiàn)了在不使用并行或分片框架的情況下訓(xùn)練 14B 模型，批處理大小可與圖像模型相媲美。

開放基準(zhǔn)：發(fā)布了 HeliosBench，一個包含 240 個提示的測試集，涵蓋了從超短到長視頻的四種時長范圍，以推動社區(qū)的進(jìn)一步發(fā)展和標(biāo)準(zhǔn)化評估。

Helios

在過去的一年里，Diffusion Transformers 極大地推動了視頻生成的進(jìn)步，甚至展現(xiàn)出了作為“世界模型”的潛力 。但隨著大家對視頻質(zhì)量要求的提高，一個致命的痛點始終懸在所有開發(fā)者和創(chuàng)作者頭頂：太慢了！ 主流的視頻大模型不僅難以實現(xiàn)實時生成，而且生成的長度往往被限制在 5 到 10 秒 。即便只是這短短幾秒的視頻，動輒也需要長達(dá)幾十分鐘的渲染合成時間 ！這對于游戲引擎或交互式生成應(yīng)用來說，簡直是噩夢 。

但是今天，這個僵局被徹底打破！

北京大學(xué)、字節(jié)跳動、Canva 以及成都阿努智能的研究團(tuán)隊聯(lián)合重磅推出了全新的大模型 —— Helios 。這是業(yè)界首個能夠在單張 NVIDIA H100 GPU 上，以驚人的 19.5 FPS 實時運行的 14B 視頻生成大模型 ！

它不僅支持分鐘級的超長視頻生成，還在畫質(zhì)上完美媲美了強(qiáng)大的基礎(chǔ)大模型 。

破局：三大維度的“反常規(guī)”降維打擊

為什么說 Helios 是一次顛覆？因為目前社區(qū)里號稱能做到“實時無限生成”的方法，大多只能依賴 1.3B 級別的小模型（比如基于 Wan2.1 1.3B） 。小模型的容量限制了它們表達(dá)復(fù)雜運動的能力，往往會導(dǎo)致高頻細(xì)節(jié)模糊 。

而 Helios 帶著 14B 的龐大參數(shù)量，硬生生地在三個關(guān)鍵維度實現(xiàn)了突破：

1.極致提速：不用常規(guī)加速包，照樣快到起飛 為了實現(xiàn)實時生成，現(xiàn)有模型通常會使用 KV-cache、稀疏/線性注意力機(jī)制或量化等標(biāo)準(zhǔn)加速技術(shù) 。但 Helios 完全拋棄了這些常規(guī)套路。

團(tuán)隊提出了“深層壓縮流（Deep Compression Flow）”，通過“多期記憶補(bǔ)丁化（Multi-Term Memory Patchification）”大幅減少了歷史上下文的冗余，又通過“金字塔統(tǒng)一預(yù)測校正器（Pyramid Unified Predictor Corrector）”減少了噪聲上下文的冗余 。這使得輸入到 DiT 的 token 數(shù)量急劇減少，將計算成本降到了與 1.3B 模型相當(dāng)甚至更低的水平。

更狠的是，他們引入了“對抗性層次蒸餾（Adversarial Hierarchical Distillation）”技術(shù)，僅使用自回歸模型作為教師，將采樣步數(shù)從傳統(tǒng)的 50 步直接砍到了 3 步。

2.長時保真：徹底告別長視頻“崩潰” 生成長視頻最怕什么？“漂移（Drifting）”！視頻一長，畫面位置就開始亂跑、顏色變異、畫質(zhì)糊成一團(tuán) 。以前大家為了防漂移，不得不使用極其耗時的自強(qiáng)制（self-forcing）或誤差庫（error-banks）策略 。

Helios 給出了更優(yōu)雅的“簡易防漂移（Easy Anti-Drifting）”方案 ：

消除重復(fù)動作： 使用“相對旋轉(zhuǎn)位置編碼（Relative RoPE）”解決了 RoPE 周期性與多頭注意力之間的沖突，從源頭掐斷了畫面重復(fù) 。

穩(wěn)住全局色彩： 采用“首幀錨點（First-Frame Anchor）”機(jī)制，在訓(xùn)練和推理中始終保留第一幀作為全局視覺錨點，有效緩解顏色突變 。

模擬真實誤差： 提出“幀感知破壞（Frame-Aware Corrupt）”，在訓(xùn)練時主動對歷史幀進(jìn)行曝光調(diào)整、加噪或模糊等破壞，讓模型提前適應(yīng)不完美的歷史畫面，從而極大地提升了容錯率 。

3.極致顯存優(yōu)化：單卡 80G 塞下 4 個 14B 模型！ 訓(xùn)練一個 14B 的視頻模型通常離不開龐大的并行計算集群和復(fù)雜的切片框架 。但 Helios 團(tuán)隊在基礎(chǔ)設(shè)施層面進(jìn)行了極限優(yōu)化 。

令人瞠目結(jié)舌的是，他們實現(xiàn)了在不使用任何并行或分片框架的情況下，在單張 80GB 顯存的 GPU 內(nèi)最高適配了 4 個 14B 模型 ！這使得模型能夠使用與圖像擴(kuò)散模型同等規(guī)模的 Batch Size 進(jìn)行訓(xùn)練，極大地降低了算力門檻 。

六邊形戰(zhàn)士：長短視頻雙殺，T2V/I2V/V2V 全能 Helios 是一個原生支持多種任務(wù)的全能選手。通過統(tǒng)一的輸入表示控制，如果歷史上下文全為零，模型就執(zhí)行文本生成視頻（T2V）；如果只有最后一幀非零，就執(zhí)行圖生視頻（I2V）；否則執(zhí)行視頻生成視頻（V2V） 。

為了驗證 Helios 的實力，研究團(tuán)隊還專門構(gòu)建了針對實時長視頻生成的評測基準(zhǔn) HeliosBench，包含 240 個覆蓋不同長度維度的提示詞 。

實驗結(jié)果毫無懸念：無論是在短視頻還是長視頻的生成上，Helios 始終擊敗了此前的各種先進(jìn)方法 。它不僅速度奇快，在視覺質(zhì)量、文本對齊和運動動態(tài)方面都表現(xiàn)卓越 。

全面開源！屬于社區(qū)的狂歡

在這個閉源大模型大行其道的時代，最讓人振奮的莫過于 Helios 團(tuán)隊的開源精神。團(tuán)隊Day-0支持NPU、Diffusers、vLLM、SGLang多個推理后端，并且全面開放了訓(xùn)練/推理代碼以及模型權(quán)重。

結(jié)語：重塑視頻生成格局，開啟“實時世界模型”新紀(jì)元

Helios 的出現(xiàn)，打破了長久以來的算力與質(zhì)量魔咒。它用硬核的成績向世界證明：百億參數(shù)規(guī)模（14B）的視頻大模型，完全可以通過極致的算法與系統(tǒng)協(xié)同優(yōu)化，在單卡 H100 上實現(xiàn)比 1.3B 小模型更快的實時推理（19.5 FPS），并輕松拿下分鐘級的超長生成 ！ 它在一個統(tǒng)一的框架內(nèi)完美拿下了文本生視頻（T2V）、圖生視頻（I2V）和視頻生視頻（V2V）三大核心任務(wù) ，將高質(zhì)量長視頻的生成門檻，從“需要極其昂貴的算力集群”硬生生拉低到了“單卡可跑”。這不僅是一場底層技術(shù)的大秀，更是一張通往未來的門票。想象一下，實時交互式視頻生成、下一代動態(tài)游戲引擎、甚至是真正的“實時世界模型（World Models）”，都因為 Helios 的突破而變得觸手可及。

參考文獻(xiàn)

[1] Helios: Real Real-Time Long Video Generation Model

       原文標(biāo)題 : 炸裂！單卡實時生成分鐘級長視頻，北大&字節(jié)聯(lián)合推出14B大模型Helios，速度碾壓1.3B