這幾日,，只要提起AlphaGo,，相信大家想起的一定是在前幾日的圍棋大賽中，無論是單人戰(zhàn),，雙人戰(zhàn),，還是群毆戰(zhàn)，AlphaGo都無一例外的身居“常勝將軍”位,，而AlphaGo的創(chuàng)作團(tuán)隊公司Deep mind在官網(wǎng)宣布這次的圍棋峰會將是AlphaGo的最后一次比賽,。那么，不進(jìn)行圍棋賽的AlphaGo還可以做什么呢,？OpenAI研究科學(xué)家,，斯坦福大學(xué)的CS博士生Andrej Karpathy就AlphaGo在機(jī)器人領(lǐng)域的應(yīng)用發(fā)表了一些他的看法,，機(jī)器人圈整理編譯如下：

我有機(jī)會和幾個人聊了一聊近期與AlphaGo柯潔等人的比賽。尤其是,，媒體報道內(nèi)容大部分是大眾科學(xué)+PR的混合體,，所以我看到的最常見的問題是“AlphaGo的突破性表現(xiàn)在哪里”，“AI的研究人員如何看待它的勝利,？”和“勝利將取得什么樣的影響”,。我把我的一些想法寫成文章與大家分享。

很酷的部分

AlphaGo由許多相對標(biāo)準(zhǔn)的技術(shù)組成：行為克?。▽θ祟愓故镜臄?shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)）,、強(qiáng)化學(xué)習(xí)（REINFORCE）、價值函數(shù)和蒙特卡洛樹搜索（MCTS）,。然而,，這些組件的組合方式是極具創(chuàng)新，并不是完全標(biāo)準(zhǔn)的,。特別是,，AlphaGo使用SL（監(jiān)督學(xué)習(xí)）策略來初始化RL（強(qiáng)化學(xué)習(xí)）策略得到完善自我發(fā)揮，然后他們預(yù)估價值函數(shù),，然后將其插入到MCTS中使用（更糟糕但更多樣化的）SL策略展示出來,。另外，策略/價值網(wǎng)是深度神經(jīng)網(wǎng)絡(luò),，所以使一切正常工作都能呈現(xiàn)自己獨特的挑戰(zhàn)（例如,，價值功能以一種棘手的方式進(jìn)行培訓(xùn)以防止過度擬合）,。在所有這些方面,，DeepMind都執(zhí)行得很好。話雖如此,，AlphaGo本身并沒有使用任何基本的算法突破來解決強(qiáng)化學(xué)習(xí)的難題,。

狹義范疇

AlphaGo還是一個狹義的AI系統(tǒng)，會下圍棋,，但也僅此而已,。來自DeepMind的ATARI玩家不會使用AlphaGo所采取的方法，神經(jīng)圖靈機(jī)（Neural Turing Machines）與AlphaGo無關(guān),，Google數(shù)據(jù)中心的改進(jìn)也絕對不會使用AlphaGo,，同時，Google搜索引擎也不會使用AlphaGo,。因此,，AlphaGo不會推廣到圍棋以外的任何地方，但是人們和潛在的神經(jīng)網(wǎng)絡(luò)組件做的比這些過去的人工智能要好得多,，每個演示都需要專門的顯式代碼的存儲庫,。

圍棋的便利屬性

我想通過明確地列出圍棋所具有的特定屬性來擴(kuò)展AlphaGo的狹義性,，AlphaGo從中受益匪淺。這可以幫助我們考慮是否推廣AlphaGo,。圍棋是：

1,、完全確定性。游戲規(guī)則中沒有噪音;如果兩位玩家采取相同的動作順序,，那么后面的狀態(tài)將永遠(yuǎn)是一樣的,。

2、充分觀察,。每個玩家都有完整的信息,，沒有隱藏的變量。例如,，德州撲克（Texas hold’em）對該屬性不滿意,，因為看不到其他玩家的牌。

3,、動作空間是離散的,。一些獨特的棋子移動是很有效的。相比之下,，在機(jī)器人技術(shù)中,，你可能希望在每個節(jié)點都需要具有連續(xù)性的控制。

4,、我們有一個完美的模擬器（游戲本身）,，所以任何動作的效果都是公開透明的。這是一個強(qiáng)有力的假設(shè),，AlphaGo依然非常強(qiáng)大,，但這種情形在現(xiàn)實世界中也是相當(dāng)罕見的。

5,、每一盤棋時間相對較短,，約200手。相對于強(qiáng)化學(xué)習(xí)階段,，與其他可能涉及每局的數(shù)千（或更多）手相比,，這是一個相對較短的時間范圍。

6,、評估清晰,、快速，允許大量的試錯體驗,。換句話說,，玩家可以體驗數(shù)百萬次的勝利/失敗，這樣就可以慢慢而可靠地深入學(xué)習(xí),，就像深度神經(jīng)網(wǎng)絡(luò)優(yōu)化一樣,。

7,、有大量的人類玩游戲棋譜數(shù)據(jù)可用于引導(dǎo)學(xué)習(xí)，所以AlphaGo不必從頭開始,。

AlphaGo應(yīng)用于機(jī)器人技術(shù),？

以上列舉了圍棋的一些吸引人的屬性，讓我們來看一下機(jī)器人問題,，看看我們?nèi)绾螌lphaGo應(yīng)用到機(jī)器人中,，例如亞馬遜揀選機(jī)器人中。這個問題只是想想就覺得有點滑稽,。

·首先,，你的動作（高維度、連續(xù)）由機(jī)器人的電機(jī)笨拙/嘈雜地執(zhí)行,。（違反1,、3）

·機(jī)器人可能必須環(huán)顧要移動的物品，因此并不總是能感知所有相關(guān)信息,，并且有時需要根據(jù)需要收集,。（違反2）

·我們可能有一個物理模擬器，但是這些模擬器是非常不完美的（尤其是模擬接觸力的東西）;這帶來了自己的一些挑戰(zhàn)（違反4）,。

·取決于你的行動空間抽象程度（原始扭矩 - >夾子的位置）,，一個成功的動作片段可能比200個動作長得多（即5取決于設(shè)置）。更長的動作片段增加了信用分配問題,，學(xué)習(xí)算法難以在任何結(jié)果的行動中分配責(zé)任,。

·由于我們在現(xiàn)實世界中運作，機(jī)器人在數(shù)百萬次的時間內(nèi)（成功/失?。兊酶永щy,。方法之一是并聯(lián)機(jī)器人，但這可能非常昂貴,。此外,，機(jī)器人失敗可能涉及機(jī)器人本身的損害,。另一種方法是使用模擬器,，然后轉(zhuǎn)移到現(xiàn)實世界中，但這會在域名轉(zhuǎn)移中帶來自己的一套新的,、不平凡的挑戰(zhàn),。（違反6）

·最后，很少有數(shù)百萬可以展示的人類數(shù)據(jù)源,。（違反7）

簡而言之,，基本上每個單一的假設(shè)，即圍棋的便利屬性都被AlphaGo違背了,，任何成功的方法都將看起來都不一樣了,。更普遍的是,，上面圍棋的一些屬性與當(dāng)前的算法（例如1、2,、3）并不是不可克服的,，有些是存在問題（5、7）,，但是有些對于AlphaGo的訓(xùn)練是非常關(guān)鍵的,，但是很少存在于其他真實世界的應(yīng)用（4、6）,。

結(jié)論

雖然AlphaGo并沒有在AI算法中并沒有實現(xiàn)根本性的突破,，雖然它仍然是狹隘人工智能的一個例子，但AlphaGo也象征著Alphabet的AI能力：公司的人才數(shù)量/質(zhì)量,、他們掌握的計算資源,，以及公司高層對AI的關(guān)注。

AlphaGo是Alphabet在人工智能領(lǐng)域設(shè)置的一場賭局,，但AlphaGo是安全的,，毋庸置疑。