5 月 26 日消息,，微軟近日公布了旗下小語(yǔ)言 AI 模型家族（SLM）最新成員 "Phi-3-vision",，這款模型主打 " 視覺能力 ",，能夠理解圖文內(nèi)容,，同時(shí)據(jù)稱可以在移動(dòng)平臺(tái)上流暢高效運(yùn)行。

據(jù)介紹,，Phi-3-vision 是微軟 Phi-3 家族首款多模態(tài)模型,，該模型的文字理解能力基于 Phi-3-mini，同時(shí)也具備 Phi-3-mini 的輕量特點(diǎn),，能夠在移動(dòng)平臺(tái) / 嵌入終端中運(yùn)行,；該模型參數(shù)量為 42 億，大于 Phi-3-mini（3.8B）,，但小于 Phi-3-small（7B）,，上下文長(zhǎng)度為 128k token，訓(xùn)練期間為 2024 年 2 月至 4 月,。

Phi-3-vision 模型的最大特色正如其名,，主要支持 " 圖文識(shí)別能力 "，號(hào)稱能夠理解現(xiàn)實(shí)世界的圖片含義,，還能快速識(shí)別提取圖片中的文字,。

微軟表示，Phi-3-vision 特別適合辦公場(chǎng)合,，開發(fā)人員特別優(yōu)化了該模型在識(shí)別圖表和方塊圖 ( Block diagram ) 方面的理解能力,，據(jù)稱可以利用用戶輸入的信息進(jìn)行推論,，同時(shí)還能做出一系列結(jié)論，為企業(yè)提供戰(zhàn)略建議,，號(hào)稱 " 效果比肩大模型 ",。

在模型訓(xùn)練方面，微軟聲稱 Phi-3-vision 是由 " 多種類型圖片及文字?jǐn)?shù)據(jù)訓(xùn)練而成 ",，包括一系列 " 經(jīng)過嚴(yán)選的公開內(nèi)容 ",，例如 " 教科書等級(jí) " 教育材料、代碼,、圖文標(biāo)注數(shù)據(jù)、現(xiàn)實(shí)世界知識(shí),、圖表圖片,、聊天格式等內(nèi)容，從而確保模型輸入內(nèi)容的多樣性,。為了確保隱私,，微軟聲稱他們所使用的訓(xùn)練數(shù)據(jù) " 可追溯 " 不包含任何個(gè)人信息。

性能方面,，微軟提供了 Phi-3-vision 相較于字節(jié)跳動(dòng) Llama3-Llava-Next（8B）,、微軟研究院和威斯康星大學(xué)、哥倫比亞大學(xué)合作的 LlaVA-1.6（7B）,、阿里巴巴通義千問 QWEN-VL-Chat 模型等競(jìng)品模型的比較圖表,，其中顯示 Phi-3-vision 模型在多個(gè)項(xiàng)目上表現(xiàn)優(yōu)異。