帶有人類反饋的強化學(xué)習(xí)（RLHF）是一種訓(xùn)練大型語言模型（LLM）的新技術(shù),，對OpenAI的ChatGPT模型,、DeepMind的Sparrow、Anthropic的Claude等都至關(guān)重要,。不是僅僅訓(xùn)練LLM來預(yù)測下一個單詞,，而是訓(xùn)練它們理解指令并產(chǎn)生有用的回應(yīng)。Surge AI的官方博客發(fā)表了一篇文章對RLHF技術(shù)進(jìn)行了簡介,，文章首先給出一些例子對比了沒有使用RLHF技術(shù)訓(xùn)練的LLM與使用了RLHF技術(shù)訓(xùn)練的LLM的差異,，然后簡要描述了RLHF技術(shù)的主要步驟。

　　RLHF使用與否的差異

　　文章給出3個例子,，分別是讓LLM寫一封郵件,、做數(shù)學(xué)運算和生成代碼。以下是RLHF使用與否的對比結(jié)果（左側(cè)未使用RLFH,，右側(cè)使用）,，很容易看出使用RLHF訓(xùn)練的LLM輸出的結(jié)果明顯優(yōu)于未使用時的情形,。

　　RLHF的主要步驟

　　RLHF技術(shù)主要分為如下4個步驟。

　　01

　　無監(jiān)督預(yù)訓(xùn)練

　　可以從一個預(yù)訓(xùn)練好的語言模型開始,，比如GPT-3,。

　　02

　　有監(jiān)督的微調(diào)

　　生成一組指令，以及對每個指令的人類寫的反應(yīng),。換句話說,，生成一個由<提示，理想生成>對組成的訓(xùn)練數(shù)據(jù)集,。然后對預(yù)訓(xùn)練的模型進(jìn)行微調(diào),，以輸出這些人類反應(yīng)。

　　03

　　訓(xùn)練一個“人類反饋”的獎勵模型

　　這一步是建立一個獎勵模型,，對一個LLM的輸出對一個給定的反應(yīng)的好壞進(jìn)行評分,。換句話說，獎勵模型是另一個模型（例如,，另一個砍掉了最后幾層的LLM）,，它將提示和生成作為輸入，并輸出一個標(biāo)量獎勵,。

　　再生成一組新的指令,，然后生成一組機器生成的對這些指令的反應(yīng)，并由人類對其質(zhì)量進(jìn)行評分或排名,。使用這個數(shù)據(jù)集來訓(xùn)練一個獎勵模型,，為任何<提示，生成>對輸出一個質(zhì)量分?jǐn)?shù),。

　　04

　　訓(xùn)練一個基于獎勵模型進(jìn)行優(yōu)化的強化學(xué)習(xí)策略

　　最后,，訓(xùn)練一個基于獎勵模型進(jìn)行優(yōu)化的強化學(xué)習(xí)策略（即，試圖生成獎勵模型認(rèn)為人類更喜歡的文本）,，它就是新的RLHF算法,！

　　換句話說，在強化學(xué)習(xí)模型中,，從一個給定的狀態(tài)采取的行動將為策略提供一個獎勵,，它將努力使之最大化,。在本場景中,，策略本質(zhì)上只是一個語言模型，它的行動是生成文本,，而它的獎勵是獎勵模型給生成的文本的分?jǐn)?shù),。

　　所以要訓(xùn)練這個RLHF模型：

　　01

　　首先，將RL策略初始化為步驟2中的微調(diào)LLM,。然后重復(fù)以下操作,。

　　02

　　取一個提示并使用RL策略生成一個輸出,。

　　03

　　使用獎勵模型來計算該輸出的獎勵。

　　04

　　根據(jù)獎勵更新RL策略（即,，該策略現(xiàn)在正在學(xué)習(xí)它是否產(chǎn)生了好的或壞的反應(yīng)）,。

　　簡評

　　RLHF是訓(xùn)練語言模型的新技術(shù)，是近期大火的ChatGPT及其競品所采用的關(guān)鍵技術(shù)之一,，它使得LLM的輸出更符合人類的偏好,。OpenAI還發(fā)現(xiàn)RLHF模型的效率要高得多：1.3B參數(shù)的RLHF模型優(yōu)于1750B參數(shù)的非RLHF模型，盡管參數(shù)少了100多倍,。

　　近期ChatGPT的相關(guān)信息席卷整個互聯(lián)網(wǎng),，受到大眾的關(guān)注，一個重要原因就是其在多個領(lǐng)域背景下的問答對話相比于之前的LLM（如GPT-3）要有明顯的提升,，從上文所列舉的3個簡單例子就可見一斑了,。從目前公開的相關(guān)技術(shù)信息來看，ChatGPT構(gòu)建在GPT-3基礎(chǔ)上,，模型的規(guī)模與參數(shù)量沒有增大,，采用了與InstructGPT相同代際的模型（被人稱為GPT-3.5）。而InstructGPT的核心改進(jìn)正是本文所介紹的RLHF技術(shù),，通過將帶人類反饋的強化學(xué)習(xí)引入以訓(xùn)練語言模型來輸出人們更偏愛的結(jié)果,，使得對話更符合人類邏輯。需要注意的是,，ChatGPT依然還是一種LLM,，核心能力是完成各類自然語言處理及理解相關(guān)的各種任務(wù)，在準(zhǔn)確性與專業(yè)性上,，還是會受限于其訓(xùn)練數(shù)據(jù),，距離通用人工智能（AGI）還有相當(dāng)?shù)木嚯x，其相比于GPT-3的改進(jìn)還達(dá)不到所謂的“革命性”或“顛覆性”,，但是我們依然可以繼續(xù)期待未來的GPT-4及之后版本將會帶來什么樣的提升,。

敬請關(guān)注電子技術(shù)應(yīng)用2023年2月22日==>>商業(yè)航天研討會<<