人工智能又來玩《馬里奧兄弟》了,這次靠的是“好奇心”
人工智能又來玩《馬里奧兄弟》了,這次靠的是“好奇心”
在游戲中卡殼時,你是會繼續(xù)反復(fù)地撞南墻,還是轉(zhuǎn)而探索游戲地圖的其它方向?也許是受古裝戲影響,我們可能會四處尋找密道開關(guān)。但當(dāng)前的人工智能可能會選擇前一種,不達目的不罷休。
加州大學(xué)伯克利分校最近發(fā)布的論文,則想要開闊人工智能的視野,讓它在卡殼時退一步,轉(zhuǎn)而探索更廣闊的天地,對視野外的世界產(chǎn)生興趣。論文被 8 月的國際機器學(xué)習(xí)大會接收。
剛剛退役的 AlphaGo,使用蒙特卡羅樹搜索來決定下一步,并依據(jù)此前的經(jīng)驗確定加權(quán)值,給出相對的獎勵反饋,借此讓機器具備人工編程沒有設(shè)計的技能。這種機器學(xué)習(xí)方法叫做“增強學(xué)習(xí)”,特點是獎勵高效和阻止無效的行為。
這種方法的缺點則是,需要大量的訓(xùn)練工作,并且不管什么情況都只追求高回報的行動,哪怕?lián)p害整體效率也不在乎。如果 AI 不能立即獲得所需的反饋,繼續(xù)行進可能會遇到困難,尤其是在反饋不明顯的電子游戲中。
伯克利研究團隊的方法,是在缺乏獎勵、甚至沒有獎勵的情況下,訓(xùn)練人工智能探索環(huán)境。研究人員讓 AI 學(xué)會了在動態(tài)環(huán)境中預(yù)測行動造成的誤差,并將這種探索的動力稱為“好奇心”。小寶寶們經(jīng)常就有這種實驗行為,他們受好奇心的指引,在天馬行空的探索中學(xué)習(xí)技能。
為了訓(xùn)練神經(jīng)網(wǎng)絡(luò),研究人員讓人工智能學(xué)習(xí)玩《馬里奧兄弟》和射擊游戲《毀滅戰(zhàn)士》。結(jié)果有好奇心的 AI 沒有盲目地重復(fù)回報較高的行動,對游戲整體有了更多把握,學(xué)會了觀察周遭環(huán)境和快速地移動,而沒有花很多時間去撞眼前的墻。
研究人員認為,在許多現(xiàn)實的場景常常缺乏外在的獎勵。在這種情況下,好奇心可以作為內(nèi)在的動力,讓 AI 探索環(huán)境,學(xué)習(xí)后期才會有用的技能。這或許可以為機器人導(dǎo)航任務(wù)帶來啟發(fā),也能讓機器人學(xué)會抓握奇形怪狀的物體。機器人往往浪費大量時間做無用功,比如嘗試很多隨機的手勢。如果配備了好奇心,機器人可以很快掌握環(huán)境信息并作出相應(yīng)的動作。
讓人工智能具備好奇心已經(jīng)成為該領(lǐng)域的研究熱點。紐約大學(xué)的科學(xué)家 Brenden Lake 接受《麻省理工科技評論》采訪時說,好奇心驅(qū)動的學(xué)習(xí)技術(shù)并沒有關(guān)注得分,但也能在游戲中讓 AI 表現(xiàn)更好,這令人驚訝,“配備與人相似的特征,是開發(fā)出具備人類的學(xué)習(xí)思考能力的機器人的重要一步”,但這項研究里的好奇心仍然不同于孩童身上的好奇心,“AI 只好奇和自己有關(guān)的環(huán)境特點。但人類的好奇心更加寬泛。他們不只關(guān)心周遭的世界?!?/p>
這也不是 AI 第一次玩《馬里奧兄弟》。這款游戲一直是人工智能的試驗田。2015 年,德州大學(xué)奧斯汀分校開發(fā)的 MarI/O 程序( GitHub 鏈接),用吃一塹長一智的方法在 34 次嘗試后通關(guān),但它并沒有預(yù)測的能力。
也是 2015 年,德國蒂賓根大學(xué)開發(fā)的 Mario A.I. 項目,讓 AI 學(xué)習(xí)人類的語音內(nèi)容,理解英文的攻略,并獲得過關(guān)的經(jīng)驗。更早的年代,2009 ~ 2012 年間,網(wǎng)絡(luò)上還曾舉辦過馬里奧 AI 大賽,之后被平臺 AI 大賽所取代。
而谷歌(微博)旗下的 DeepMind 在拿下圍棋之后,也要挑戰(zhàn)《星際爭霸》了。過去七年間一直有類似的嘗試,但 AI 從未贏過和熟練玩家的比賽。DeepMind 也并未表明何時會開展人機對決,只計劃在未來幾個月內(nèi)發(fā)布相關(guān)的接口。
但人工智能發(fā)展速度如此之快,在電子競技上打敗人類的那一天也許并不遙遠。
繼續(xù)閱讀與本文標(biāo)簽相同的文章