近年來，處理器技術(shù)進(jìn)入如此大,，一個像U盤那么大的設(shè)備現(xiàn)在都可以用于為神經(jīng)網(wǎng)絡(luò)提供能量,。但是，企業(yè)通常很難充分發(fā)揮其計算能力,，因為實施大規(guī)模人工智能過程中還存在的根本挑戰(zhàn),。

這個問題和可擴(kuò)展性有關(guān),，本周二IBM發(fā)布了一種名為分布式深度學(xué)習(xí)（Distributed Deep Learning,，DDL）的軟件庫來解決這個問題。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子集,，旨在教計算機(jī)以人類相同的方式進(jìn)行學(xué)習(xí),。例如，人們不會通過描述這個生物有4條腿,、1個鼻子和1條尾巴的事實來識別出這是一只狗,。一旦人們知道狗是什么樣子，就會與貓做永久性的區(qū)分,。深度學(xué)習(xí)試圖在軟件中復(fù)制這種方法,。

大多數(shù)深度學(xué)習(xí)的框架都支持跨多個服務(wù)器擴(kuò)展大型模式的能力，很多現(xiàn)在也支持GPU,，但是收集和同步分析結(jié)果的方式還遠(yuǎn)遠(yuǎn)不夠,，IBM研究部門總監(jiān)Hillery Hunter表示。

同步的工作流

深度學(xué)習(xí)模式運(yùn)行在計算機(jī)集群上，通過GPU進(jìn)行增強(qiáng),，GPU芯片有數(shù)百萬個分布式和互相關(guān)聯(lián)的處理元素,，其作用大致類似于人類大腦中的神經(jīng)元。這些人造神經(jīng)元一起處理信息,，就像人類的部分一樣,，每個神經(jīng)元都處理一小部分?jǐn)?shù)據(jù)。當(dāng)節(jié)點完成計算的時候,，結(jié)果將同步在其他神經(jīng)網(wǎng)絡(luò)上,，以幫助協(xié)調(diào)工作。

在IBM看來,，這就是瓶頸所在,。人造神經(jīng)元部署運(yùn)行在越快的GPU上，完成計算的速度就越快,，意味著結(jié)果的同步更加頻繁,。由于AI集群的構(gòu)建方式，如果環(huán)境中芯片的數(shù)量增加,，同樣適用,。但是深度學(xué)習(xí)框架只能頻繁地同步數(shù)據(jù)。

因此,，處理速度收到了數(shù)據(jù)在GPU之間傳輸?shù)南拗?。DDL利用所謂的多層通信算法來改變這一平衡。這個軟件庫修改信息發(fā)送通過的網(wǎng)絡(luò)路徑,，以實現(xiàn)延遲和帶寬之間“最優(yōu)化”的平衡,，讓通信不再是主要的瓶頸。

創(chuàng)紀(jì)錄的性能

在一次內(nèi)部測試中,，IBM在一個有數(shù)百個GPU的集群上部署了DDL,，并從一個受歡迎的研究數(shù)據(jù)集中發(fā)送處理750萬個圖像，將其分到22000個分類中的一個或者多個,。該模型在經(jīng)過7個小時的訓(xùn)練之后,，可準(zhǔn)確識別33.8%的對象，打包了之前微軟在經(jīng)過10天訓(xùn)練之后創(chuàng)下的29.8%的紀(jì)錄,。

如果4%的改進(jìn)聽起來不足為奇,，而且整體成功率還比較低，這是因為這個模型遠(yuǎn)比現(xiàn)實中遇到的更為復(fù)雜,，IBM高性能計算及人工智能副總裁Sumit Gupta表示,。所以改進(jìn)是循序漸進(jìn)的，他指出,，微軟此前的紀(jì)錄只比上一次改進(jìn)了0.8%,。這個基準(zhǔn)測試旨在強(qiáng)調(diào)深度學(xué)習(xí)軟件,，以證明研究人員真正構(gòu)建了更好的模型。

DDL在訓(xùn)練人工智能開發(fā)的過程中尤其有用,，這是整個項目生命中其中占用時間最長的之一,。有時候模型需要花費幾周甚至幾個月的時間來處理樣品數(shù)據(jù)，才能變得足夠準(zhǔn)確用于生產(chǎn)中,。IBM稱,，在某些情況下IBM的軟件庫可以將這個過程縮短至幾個小時?！叭绻枰?6天時間訓(xùn)練一個模型如何識別新的信用卡,，那么這16天你就是在虧本的?！?/p>

深度學(xué)習(xí)在醫(yī)療場景中也很有用,，例如組織分析，長時間的訓(xùn)練關(guān)于生存或者死亡的問題,。此外還有其他好處,，如果一個深度學(xué)習(xí)模型可以在數(shù)小時而不是數(shù)周時間內(nèi)完成訓(xùn)練，那么就能釋放企業(yè)的人工智能基礎(chǔ)設(shè)施,，用于更快地完成其他項目和其他工作,。

IBM還另外展示了如何利用DDL實現(xiàn)95%的擴(kuò)展效率，相比之下Facebook在此前的測試中記錄是89%,。這兩個測試都使用了相同的樣本數(shù)據(jù),。

IBM表示，DDL幫助企業(yè)培訓(xùn)他們的模型,，實現(xiàn)此前由于時間限制而無法實現(xiàn)的速度和范圍,。它將DDL軟件庫與所有主流深度學(xué)習(xí)框架相連接，包括TensorFlow,、Caffee,、Chainer、Torch和Theano,，都是在一個開源許可下的,。

IBM還將這個軟件庫融入到自己的PowerAI深度學(xué)習(xí)共計套件平臺中，有免費和付費企業(yè)兩個版本,，此外還有在Minbix Minsky Power Cloud上。Gupta表示：“我們將通過PowerAI把它帶給每個人,?！?/p>