123,123

字節(jié)跳動推出Mini-o3：視覺推理比肩OpenAI o3

2025-11-17 15:58

近日，由字節(jié)跳動、香港大學團隊聯(lián)合開發(fā)的Mini-o3模型正式上線。這個號稱Open AI o3 視覺推理平替的視覺語言模型（VLM），在訓練限制輪數(shù)僅6輪的情況下，能在測試階段將思考輪數(shù)擴展到數(shù)十輪。

Mini-o3的核心創(chuàng)新為Visual Probe挑戰(zhàn)性問題數(shù)據(jù)集構(gòu)建、迭代數(shù)據(jù)收集管道以及超輪次掩碼策略，支持深度優(yōu)先搜索等多樣化推理模式。測試時，交互輪次可擴展至 32 輪以上，準確率也會隨著輪次增加顯著提升。

目前，Mini-o3在 VisualProbe、VBench、HR-Bench、MME-Realworld 等基準上取得了 7B 量級的最佳成績。訓練代碼、模型權(quán)重以及包含 4,500 條數(shù)據(jù)的 Visual Probe 數(shù)據(jù)集也已開源。

訓練數(shù)據(jù)收集

Mini-o3通過提出一種有效的多模態(tài)智能體訓練方案來推進交互深度和推理模式。該智能體支持多輪圖像工具使用，從而提高了視覺基礎任務的適應性和推理多樣性。

訓練過程包括兩個階段：

監(jiān)督微調(diào)（SFT）：在數(shù)千個涉及圖像工具使用的多輪軌跡（即冷啟動數(shù)據(jù)）上對模型進行微調(diào)，使模型生成具有多樣化和魯棒推理模式的有效軌跡。
具有可驗證獎勵的強化學習（RLVR）：使用可驗證的、語義感知的獎勵，采用外部 LLM 作為評判者來計算獎勵信號。總共設置 6 個交互輪次和 32K 上下文長度的上限。

團隊構(gòu)建了一個具有挑戰(zhàn)性的視覺搜索數(shù)據(jù)集——Visual Probe 數(shù)據(jù)集。它包含用于訓練的 4,000個視覺問答集和用于測試的 500個問答集。 VisualProbe 的特點是：

小目標；
大量干擾物；
高分辨率圖像

為了生成高質(zhì)量、多樣化的多輪軌跡，Mini-o3只保留最終答案正確的軌跡。遵循此過程，團隊從 6 個示例中收集了大約 6,000 條冷啟動軌跡。

超輪次掩碼策略

為了增加每個環(huán)節(jié)中可行的輪次數(shù)，團隊將每張圖像的最大像素數(shù)減少至 200 萬。這種簡單的調(diào)整允許在相同的上下文預算內(nèi)容納更多輪次，提高了長視野問題的解決率。

為了防止模型陷入“提前回答”策略，團隊還提出了一種超輪次掩碼技術(shù)，其目標是避免對“未完成”的回答進行懲罰。

這項技術(shù)削減了之前“屏蔽”未完成回答的損失，鼓勵模型繼續(xù)探索。

值得注意的是，盡管在訓練期間采用了相對較小的翻轉(zhuǎn)輪次上限，但測試時間軌跡可以延伸至數(shù)十輪，準確率也會隨著輪次增加而提升。因此，輪次掩碼對于實現(xiàn)測試時間在交互翻轉(zhuǎn)次數(shù)方面的擴展優(yōu)勢至關(guān)重要。

實踐結(jié)果

本研究核心發(fā)現(xiàn)，盡管Mini-o3（藍線）訓練時僅設定6輪上限，但在測試中，隨著交互輪次上限從4增至32輪，其在VisualProbe-Hard數(shù)據(jù)集上的準確率從38%持續(xù)升至48%。這表明模型真正學會了“思考”，且思考越充分，效果越好。相比之下，未采用Over-turn Masking策略的模型（紅線）在6輪后性能便停止增長。

在多項視覺搜索基準測試中，Mini-o3均刷新了最新的SOTA成績，顯著超越現(xiàn)有開源模型。尤其是在最具挑戰(zhàn)性的 VisualProbe-Hard 任務上，Mini-o3的準確率高達 48.0%，相比此前表現(xiàn)最佳的 DeepEyes（35.1%）提升明顯。

消融實驗結(jié)果進一步印證了Mini-o3的創(chuàng)新設計：無論移除 Visual Probe 數(shù)據(jù)集、冷啟動 SFT，還是 Over-turn Masking，模型性能都會大幅下降。