9 月 9 日-14 日,，Deep Learning Indaba 2018 大會在南非斯泰倫博斯舉行。會上,，DeepMind 強化學習研究小組負責人、首席研究員,、AlphaGo 項目負責人 David Silver 發(fā)表演講,，介紹了強化學習的十大原則。機器之心對該演講進行了介紹,。
演講課件地址：http://www.deeplearningindaba.com/uploads/1/0/2/6/102657286/principles_of_deep_rl.pdf
原則一：評估方法驅動研究進展
David Silver 指出,，客觀、量化的評估方法是強化學習進展的重要驅動力：
評估指標的選擇決定了研究進展的方向,；
這可以說是強化學習項目中最重要的一個決定,。
David Silver 介紹了兩種評估方法：
排行榜驅動的研究
確保評估指標緊密對應最終目標；
避免主觀評估（如人類評估）,。
假設驅動的研究
形成一個假設：Double-Q 學習優(yōu)于 Q 學習,，因為前者減少了向上偏誤（upward bias）；
在寬泛的條件下驗證該假設,；
對比同類方法,，而不是只與當前最優(yōu)方法進行對比；
尋求理解,，而不是排行榜表現(xiàn),。
原則二：可擴展性是成功的關鍵
David Silver 認為可擴展性是強化學習研究成功的關鍵。
算法的可擴展性指與資源相關的算法的性能變化,；
資源包括計算量,、內(nèi)存或數(shù)據(jù)；
算法的可擴展性最終決定算法成功與否,；
可擴展性比研究的起點更加重要,；
優(yōu)秀的算法在給定有限資源的條件下是最優(yōu)的。
原則三：通用性（Generality）支持算法的長遠有效性
算法的通用性指它在不同強化學習環(huán)境中的性能,。研究者在訓練時要避免在當前任務上的過擬合,，并尋求可以泛化至未來未知環(huán)境的算法,。
我們無法預測未來，但是未來任務的復雜度可能至少和當前任務持平,；在當前任務上遇到的困難在未來則很有可能增加,。
因此，要想使算法可以泛化至未來的不同強化學習環(huán)境,，研究者必須在多樣化且真實的強化學習環(huán)境集合上測試算法,。
原則四：信任智能體的經(jīng)驗
David Silver 指出經(jīng)驗（觀察、動作和獎勵）是強化學習的數(shù)據(jù),，公式可以寫作：
h_t=o_1,r_1,a_2,o_2,r_2,...,a_t,o_t,r_t
經(jīng)驗流隨智能體在環(huán)境中學習時間的延長而累積,。
他告誡我們，要把智能體的經(jīng)驗作為知識的唯一來源,。人們在智能體學習遇到問題時傾向于添加人類的專業(yè)知識（人類數(shù)據(jù),、特征、啟發(fā)式方法,、約束,、抽象、域操控）,。
他認為,，完全從經(jīng)驗中學習看起來似乎不可能。也就是說,，強化學習的核心問題非常棘手,。但這是 AI 的核心問題，也值得我們付出努力,。從長遠來看，從經(jīng)驗中學習一直是正確的選擇,。
原則五：狀態(tài)是主觀的
David Silver 指出：
智能體應該從它們的經(jīng)驗中構建屬于自己的狀態(tài),，即：s_t=f(h_t)
智能體狀態(tài)是前一個狀態(tài)和新觀察的函數(shù)：s_t=f(s_t-1,a_t-1,o_t,r_t)
如下圖所示：
它是循環(huán)神經(jīng)網(wǎng)絡的隱藏狀態(tài)。
永遠不要根據(jù)環(huán)境的「真實」狀態(tài)來定義狀態(tài)（智能體應該是一個部分可觀察馬爾可夫鏈模型）,。
原則六：控制數(shù)據(jù)流
智能體存在于豐富的感覺運動（sensorimotor）數(shù)據(jù)流中：
觀測結果的數(shù)據(jù)流輸入到智能體中,；
智能體輸出動作流。
智能體的動作會影響數(shù)據(jù)流：
特征控制 => 數(shù)據(jù)流控制
數(shù)據(jù)流控制 => 控制未來
控制未來 => 可以最大化任意獎勵
原則七：用價值函數(shù)對環(huán)境建模
David Silver 首先給出了使用價值函數(shù)的三個原因：
高效地對未來進行總結/緩存,；
將規(guī)劃過程簡化為固定時間的查找,，而不是進行指數(shù)時間量級的預測；
獨立于時間步跨度進行計算和學習,。
他指出,，學習多個價值函數(shù)可以高效地建模環(huán)境的多個方面（控制狀態(tài)流），包括隨后的狀態(tài)變量,；還能在多個時間尺度上學習,。他還提醒我們避免在過于簡化的時間步上建模環(huán)境,。
原則八：規(guī)劃：從想象的經(jīng)驗中學習
David Silver 提出了一種有效的規(guī)劃方法，并將其分為兩步,。首先想象下一步會發(fā)生什么,，從模型中采樣狀態(tài)的軌跡；然后利用我們在真實經(jīng)驗中用過的 RL 算法從想象的經(jīng)驗中學習,。他提醒我們從現(xiàn)在開始關注價值函數(shù)逼近,。
原則九：使用函數(shù)近似器
David Silver 認為，可微網(wǎng)絡架構是一種強大的工具,，可以豐富狀態(tài)表示,，同時使可微記憶、可微規(guī)劃以及分層控制更加便利,。他提出將算法復雜度引入網(wǎng)絡架構,，以減少算法復雜度（指參數(shù)的更新方式），增加架構的表達性（指參數(shù)的作用）,。
原則十：學會學習
AI 史是一個進步史：
第一代：舊式的 AI
手動預測：此時的人工智能只能執(zhí)行手動預測
什么也學不會
第二代：淺層學習
手動構建特征：研究人員需要耗費大量時間,、精力手動構建特征
學習預測
第三代：深度學習
手動構建的算法（優(yōu)化器、目標,、架構……）
端到端學習特征和預測
第四代：元學習
無需手工
端到端學習算法和特征以及預測
