作者：Dingcheng Zhen等

解讀：AI生成未來

亮點直擊

在數(shù)字人技術(shù)從“實驗室點播”邁向“直播間實戰(zhàn)”的過程中，行業(yè)始終被兩大陰云籠罩：一是長時生成的崩潰，視頻跑著跑著臉就“化”了；二是算力的黑洞，為了維持流暢度往往需要堆砌昂貴的算力集群。

近日，Soul AI團隊發(fā)布了最新開源模型 SoulX-LiveAct。該模型通過創(chuàng)新的 Neighbor Forcing 策略和 ConvKV Memory 機制，在僅需2張H100/H200顯卡的情況下，實現(xiàn)了20 FPS的實時流式推理，且支持真正意義上的“無限時長”生成，徹底解決了長視頻生成的顯存爆炸與動作漂移問題。

總結(jié)速覽

解決的問題

不一致的學習信號：現(xiàn)有的大多數(shù)強制策略在傳播樣本級表示時，擴散狀態(tài)不匹配，導(dǎo)致學習信號不一致和收斂不穩(wěn)定。

推理效率限制：歷史表示無限制增長且缺乏結(jié)構(gòu)，阻礙了緩存狀態(tài)的有效重用，嚴重限制了推理效率，無法實現(xiàn)真正無限的視頻生成。

提出的方案

Neighbor Forcing：

提出了一種擴散步驟一致的自回歸（AR）公式，將時間上相鄰的幀作為潛在鄰居在相同的噪聲條件下進行傳播。

該設(shè)計提供了一個分布對齊且穩(wěn)定的學習信號，同時在整個AR鏈中保留了漂移。

通過利用在相同擴散步驟下評估的時間相鄰幀的潛在局部平滑性，使得AR建模更加容易和穩(wěn)定。

ConvKV Memory：

引入了一種結(jié)構(gòu)化的ConvKV記憶機制，將因果注意力中的鍵（keys）和值（values）壓縮成固定長度的表示。

這使得恒定內(nèi)存推理和真正的無限視頻生成成為可能，而無需依賴短期運動幀內(nèi)存。

利用輕量級一維卷積，在不引入額外架構(gòu)復(fù)雜性的情況下，有效總結(jié)了長期上下文信息。

應(yīng)用的技術(shù)

自回歸（AR）擴散模型：結(jié)合擴散建模與因果AR生成，支持流式推理和避免固定長度限制。

DiT (Diffusion Transformer)：SoulX-LiveAct 采用 DiT 模型，并結(jié)合 Flow Matching 技術(shù)。

音頻交叉注意力：用于注入音頻條件，實現(xiàn)唇部同步和情感表達。

塊級AR擴散策略：將序列劃分為連續(xù)的塊進行生成。

FP8精度、序列并行和操作融合：優(yōu)化實時系統(tǒng)，提高硬件效率。

Emotion and Action Editing Module：輔助模塊，用于控制面部表情和姿勢。

達到的效果

顯著改進：與現(xiàn)有AR擴散方法相比，顯著改善了訓練收斂性、小時級生成質(zhì)量和推理效率。

實時性能：SoulX-LiveAct 能夠?qū)崿F(xiàn)小時級實時人物動畫，在兩塊NVIDIA H100或H200 GPU上支持20 FPS的實時流式推理。

SOTA性能：在唇部同步準確性、人物動畫質(zhì)量和情感表達方面達到了最先進的性能，同時具有最低的推理成本。

計算效率：每幀512x512分辨率的計算成本為27.2 TFLOPs，遠低于之前的AR擴散方法（例如，Live-Avatar的39.1 TFLOPs/幀）。

長視頻一致性：在長視頻生成中保持了穩(wěn)定的身份表示和細粒度細節(jié)，解決了現(xiàn)有方法中常見的身份漂移和細節(jié)不一致問題。

挑戰(zhàn)：實時數(shù)字人的“長跑”難題

目前的自回歸（AR）擴散模型在視頻生成上展現(xiàn)了巨大潛力，但在邁向“小時級”甚至“無限時”實時交互時，面臨著兩大瓶頸：

訓練不一致性：傳統(tǒng)的Forcing策略在傳播過程中存在擴散狀態(tài)不匹配，導(dǎo)致信號不穩(wěn)定，數(shù)字人容易在長時間生成后“崩壞”。

顯存黑洞：隨著生成長度增加，KV Cache（鍵值緩存）呈線性增長，單卡顯存難以支撐長達數(shù)小時的連續(xù)對話。

核心突破：Neighbor Forcing 與 ConvKV Memory

為了攻克上述難題，SoulX-LiveAct 提出了兩項核心技術(shù)創(chuàng)新：

Neighbor Forcing：讓每一幀都有“好鄰居”

研究團隊提出了一種擴散步一致（diffusion-step-consistent）的自回歸公式。通過將時間相鄰幀作為“潛在鄰居”，并在相同的噪聲條件下進行傳播，確保了學習信號的分布對齊。這不僅提升了生成的穩(wěn)定性，還讓數(shù)字人的動作銜接更加平滑。

ConvKV Memory：告別顯存焦慮

受限于長程注意力機制的開銷，SoulX-LiveAct 引入了結(jié)構(gòu)化的 ConvKV 存儲機制。它將因果注意力中的鍵（Keys）和值（Values）壓縮為固定長度的表示，使得推理時的顯存占用保持恒定。無論生成的視頻是1分鐘還是1小時，顯存消耗始終在掌控之中。

性能表現(xiàn)：不僅是快，更是極致的穩(wěn)

在多項基準測試中，SoulX-LiveAct 展現(xiàn)出了統(tǒng)治級的表現(xiàn)：

實時流式推理：在雙卡（H100/H200）環(huán)境下達到 20 FPS，滿足高頻交互需求。

極致一致性：支持小時級別的連續(xù)生成，身份特征（Identity）穩(wěn)定，細節(jié)不“掉件”，不會出現(xiàn)常見的面部扭曲或著裝突變。

多模態(tài)驅(qū)動：支持圖像、音頻及文本指令驅(qū)動，能夠生成表情生動、情緒可控且擁有豐富全身動作的數(shù)字人。

實驗結(jié)果：刷新 SOTA 榜單

量化指標顯示，SoulX-LiveAct 在唇形同步準確度（Lip-sync Accuracy）、人體動畫質(zhì)量以及情緒表達力上均達到了 SOTA 水平，且推理成本遠低于同類模型。

原理詳解 -- 深度解析SoulX-LiveAct 的底層邏輯：如何重構(gòu)生成范式？

如果說之前的技術(shù)是在“縫補”舊框架，SoulX-LiveAct 則是直接在擴散模型（Diffusion Models）的根基上動了手術(shù)。

Neighbor Forcing：從“自顧自”到“步調(diào)一致”

在自回歸視頻生成中，每一幀的生成都依賴于前一幀。傳統(tǒng)的 Teacher Forcing 存在一個隱形殺手：擴散步偏移。

技術(shù)痛點：通常模型在訓練時，第 t 幀和第 t-1 幀往往處于不同的噪聲水平。推理時，前一幀的微小噪聲預(yù)測偏差會迅速放大。

SoulX-LiveAct 的解法：我們提出了鄰域強迫策略。在訓練階段，強行讓相鄰幀處于相同的擴散時間步 s。

數(shù)學直覺：通過這種設(shè)計，模型學習到的不再是單一幀的去噪，而是相鄰幀之間的條件聯(lián)合分布。這相當于給模型建立了一個“局部信任域”，確保了在推理無限長序列時，每一幀都在前一幀的“穩(wěn)健預(yù)測范圍”內(nèi)，從而徹底杜絕了面部崩壞。

ConvKV Memory：從“無限增長”到“空間折疊”

Transformer 架構(gòu)最令人頭疼的就是其注意力機制的計算復(fù)雜度隨長度增長。對于實時數(shù)字人，這無異于自殺。

傳統(tǒng)做法：緩存所有歷史幀的 Key 和 Value，顯存隨時間“爆炸”。

SoulX-LiveAct 的解法：我們引入了基于卷積的鍵值記憶網(wǎng)絡(luò)（ConvKV）。它并不是粗暴地丟棄歷史，而是進行空間與維度的重組。

時域壓縮：利用深度可分離卷積（Depthwise Conv）對舊的 KV 緩存進行下采樣，將冗余的背景、靜止像素信息壓縮。

因果對齊：通過因果掩碼（Causal Masking）確保壓縮后的記憶只包含過去的語義，而不泄露未來信息。

工程意義：這種設(shè)計將注意力機制從 O()降低到了 O(1) 的常數(shù)級顯存開銷。無論對話進行了 10 秒還是 10 小時，模型始終只需處理固定大小的“記憶塊”。

開源與未來

Soul AI 團隊致力于推動數(shù)字人技術(shù)的普惠化。目前，SoulX-LiveAct 已全面開源，包括技術(shù)報告、代碼及預(yù)訓練模型。

參考文獻

[1] SoulX-LiveAct: Towards Hour-Scale Real-Time Human Animation with Neighbor Forcing and ConvKV Memory

       原文標題 : 2張顯卡即可20FPS流式生成！SoulX-LiveAct開啟“小時級”實時數(shù)字人交互新時代