10 月 21 日消息，智源研究院今日發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個(gè) token 預(yù)測(cè),，無需擴(kuò)散模型或組合方法,，即可完成文本,、圖像,、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實(shí)現(xiàn)圖像,、文本,、視頻大一統(tǒng)。

在圖像生成任務(wù)中,，基于人類偏好評(píng)測(cè),，Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺語言理解任務(wù)中,，對(duì)于 12 項(xiàng)基準(zhǔn)測(cè)試的平均得分,，Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務(wù)中,，對(duì)于 VBench 基準(zhǔn)測(cè)試得分，Emu3 優(yōu)于 OpenSora 1.2,。

據(jù)介紹,，Emu3 提供了一個(gè)強(qiáng)大的視覺 tokenizer，能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散 token。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中,。與此同時(shí),，該模型輸出的離散 token 可以被轉(zhuǎn)換為文本、圖像和視頻,，為 Any-to-Any 的任務(wù)提供了更加統(tǒng)一的研究范式,。

▲ Emu3 生成的圖像

Emu3 研究結(jié)果證明，下一個(gè) token 預(yù)測(cè)可以作為多模態(tài)模型的一個(gè)強(qiáng)大范式,，實(shí)現(xiàn)超越語言本身的大規(guī)模多模態(tài)學(xué)習(xí),，并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過將復(fù)雜的多模態(tài)設(shè)計(jì)收斂到 token 本身,，能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力,。

目前 Emu3 已開源了關(guān)鍵技術(shù)和模型