【資料圖】

光明網(wǎng)訊?2月17日，毫末智行將人駕自監(jiān)督認(rèn)知大模型正式升級為“DriveGPT”，這也是全球首個自動駕駛認(rèn)知大模型。目前，毫末DriveGPT已完成模型搭建和第一階段數(shù)據(jù)的跑通，參數(shù)規(guī)?？蓪?biāo)GPT-2的水平。

隨著ChatGPT的火爆出圈，它所采用的Transformer大模型以及“人類反饋強化學(xué)習(xí)（RLHF）”技術(shù)再次引發(fā)行業(yè)關(guān)注。在自動駕駛領(lǐng)域，毫末在國內(nèi)最早將Transformer大模型引入到數(shù)據(jù)智能體系MANA當(dāng)中。在2023年1月的HAOMO AI DAY上，毫末智行CEO顧維灝介紹，毫末推出的人駕自監(jiān)督認(rèn)知大模型就已借鑒了ChatGPT的實現(xiàn)思路，采用RLHF（人類反饋強化學(xué)習(xí)）技術(shù)，通過引入真實人駕接管數(shù)據(jù)，對自動駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。

據(jù)了解，毫末的認(rèn)知決策算法經(jīng)歷了三個階段的進(jìn)化。第一階段是引入個別場景的端到端模仿學(xué)習(xí)，直接擬合人駕行為。第二階段是通過認(rèn)知大模型，引入海量正常人駕數(shù)據(jù)，通過Prompt的方式實現(xiàn)認(rèn)知決策的可控、可解釋。第三階段，也就是當(dāng)前階段，通過引入真實接管數(shù)據(jù)，并且在大模型中開始嘗試使用RLHF算法，對人駕接管數(shù)據(jù)進(jìn)行學(xué)習(xí)。為此，毫末構(gòu)建了一個包含“舊策略、接管策略、人工label策略”的Pairwise排序模型。基于這一排序模型，毫末構(gòu)建了自動駕駛決策的獎勵模型（reward model），從而在各種規(guī)劃場景情況下做出最優(yōu)的決策。通過這一大模型，在掉頭、環(huán)島等公認(rèn)的困難場景中，場景通過率提升30%以上。

接下來，DriveGPT將持續(xù)引入大規(guī)模真實接管數(shù)據(jù)，通過人駕數(shù)據(jù)反饋的強化學(xué)習(xí)，來不斷提升測評效果，同時也將DriveGPT作為云端測評模型，用來評估車端小模型的駕駛效果。毫末DriveGPT最新重要進(jìn)展，將在2023年4月舉行的第八屆HAOMO AI DAY上公布。（柯巖）