微軟最近發(fā)布了一款名為Phi-3 Mini的輕量級人工智能模型,，該模型被設(shè)計(jì)為能在智能手機(jī)和其他本地設(shè)備上運(yùn)行,。這款擁有38億參數(shù)的模型是微軟即將發(fā)布的三個(gè)Phi-3系列語言模型中的首個(gè),。其目標(biāo)是為云驅(qū)動的大型語言模型提供一個(gè)更經(jīng)濟(jì)實(shí)惠的替代方案,，使得規(guī)模較小的組織也能采用人工智能技術(shù),。

微軟表示,，Phi-3 Mini的性能輕松超越了之前的Phi-2小型模型,，并且與Llama 2等大型模型不相上下,。令人驚訝的是,，這款新模型的響應(yīng)能力接近于那些參數(shù)規(guī)模是其10倍的模型。

研究團(tuán)隊(duì)在論文中指出,，這一創(chuàng)新的關(guān)鍵在于他們所使用的訓(xùn)練數(shù)據(jù)集,。該數(shù)據(jù)集以Phi-2模型為基礎(chǔ)，但融入了“經(jīng)過嚴(yán)格過濾的網(wǎng)絡(luò)數(shù)據(jù)和合成數(shù)據(jù)”,。這種獨(dú)特的數(shù)據(jù)集構(gòu)建方式受到了兒童讀物的啟發(fā),，這些讀物使用更簡單的語言來闡述復(fù)雜的主題，從而有效地使較小的語言模型能夠發(fā)揮更高的效能,。

盡管Phi-3 Mini在某些方面可能還無法與云驅(qū)動的大型語言模型相媲美,，但它在從數(shù)學(xué)到編程再到學(xué)術(shù)測試的各項(xiàng)任務(wù)中，都展現(xiàn)出了超越Phi-2和其他小型語言模型（如Mistral,、Gemma,、Llama-3-In）的實(shí)力。更重要的是,，這款模型可以在像智能手機(jī)這樣簡單的設(shè)備上運(yùn)行,，而且無需互聯(lián)網(wǎng)連接。

然而,，Phi-3 Mini的主要限制在于其“事實(shí)知識”的廣度,，這主要是由于其訓(xùn)練數(shù)據(jù)集相對較小。因此，在“TriviaQA”測試中,，它的表現(xiàn)并不出色,。盡管如此，對于那些只需要處理較小內(nèi)部數(shù)據(jù)集的模型來說,，這仍然是一個(gè)不小的進(jìn)步,。微軟希望，通過推出這樣的模型,，能夠讓那些無力承擔(dān)云連接大型語言模型費(fèi)用的公司也能接觸到人工智能技術(shù),。

目前，Phi-3 Mini已經(jīng)在Azure,、Hugging Face和Ollama等平臺上提供,。微軟接下來還計(jì)劃發(fā)布功能更為強(qiáng)大的Phi-3 Small和Phi-3 Medium模型，它們分別擁有70億和140億個(gè)參數(shù),。