123,123

美團最新推理模型來了：專注 Thinking，具備 SOTA 水準

2025-11-17 15:53

今日，美團發(fā)布了最新推理模型 LongCat-Flash-Thinking。

該模型是國內首個同時具備「深度思考 + 工具調用」與「非形式化 + 形式化」推理能力相結合的大語言模型。模型總參數達 5600 億個，采用創(chuàng)新的混合專家 (MoE) 架構，可根據上下文需求激活 18.6B～31.3B 個參數（平均～27B），優(yōu)化計算效率和性能。

據美團官方信息表示，新模型在保持了 LongCat-Flash-Chat 速度的同時，還配備了形式推理和代理推理技術，提高了模型在數學、邏輯、編程、自動定理證明和工具使用等各種復雜任務上的推理能力。

訓練過程

LongCat-Flash-Thinking 的開發(fā)遵循兩個階段的流程：

長期 CoT 冷啟動訓練 ：第一階段旨在培養(yǎng)模型的基礎推理能力。首先，在訓練中期采用課程學習策略來增強模型的內在能力；然后，在推理密集型數據和代理數據上進行 SFT 階段，為模型的高級學習做好準備。
大規(guī)模強化學習 ：第二階段將通過高效的強化學習框架來擴展這一潛力，該框架基于 DORA 系統(tǒng)構建。為了應對異步強化學習訓練中的穩(wěn)定性挑戰(zhàn)，團隊調整并擴展了 GRPO 算法。

為了克服傳統(tǒng)混合領域強化學習訓練的不穩(wěn)定性，LongCat-Flash-Thinking 采用了領域并行訓練方案，將 STEM、編碼和代理任務之間的優(yōu)化解耦。這種方法不僅可以穩(wěn)定訓練，還能將生成的領域專家模型融合成一個接近帕累托最優(yōu)的最終模型，該模型在所有專業(yè)領域都能夠表現(xiàn)出色。

LongCat-Flash-Thinking 的模型設計基于之前的 DORA 系統(tǒng)。其主要目標是通過流式部署的方式利用多個舊版本的 Actor 模型，同時保持采樣一致性，從而優(yōu)化長尾生成。DORA 系統(tǒng)由彈性托管和多版本異步流水線兩個核心組件組成。這些組件旨在提升訓練效率，確保每個樣本的策略一致性，并進一步實現(xiàn)高效的鍵值緩存復用，從而在數萬臺加速器上實現(xiàn)穩(wěn)定且可擴展的訓練。

形式推理和代理推理

除了一般推理之外，LongCat-Flash-Thinking 還強調另外兩種關鍵能力：

形式推理 ：LongCat-Flash-Thinking 可以解決復雜的形式推理任務，例如自動定理證明。為了增強模型的形式推理能力，團隊引入了一個全新的專家迭代框架，用于精細的數據合成，包括語句形式化、迭代證明合成以及語法/一致性過濾。
代理推理 ：LongCat-Flash-Thinking 能夠自適應地利用提供的工具來解決復雜的推理任務。為了實現(xiàn)這一目標，我們引入了一種雙路徑推理方法，用于識別并保留真正需要工具輔助的高質量查詢，從而促進強大的代理能力發(fā)展。在選擇高價值查詢后，我們會基于一個多功能環(huán)境（包含 MCP 服務器以及用于單輪和多輪交互的模擬工具）合成相應的高質量解決方案軌跡。

能力比肩 Open AI 等頂尖模型

LongCat-Flash-Thinking 在 MMLU（大規(guī)模多任務語言）的測試中以 89.3% 的分數超越通義千問 Qwen3-235B-A22B。在 HMMT 和 AIME 數學相關的基準上取得突破性成績，超越 OpenAI o3。在代碼能力測試的 LiveCodeBench 上以 79.4 分與 GPT-5 表現(xiàn)不相上下。