者:Nicolas Weber-Krebs,F(xiàn)TP 手游廠商 BISBOG CEO。
編譯:索菲亞的燕窩
這兩年,每到周末很多人都會和朋友一起,選擇線下的桌游吧來渡過愜意的下午時光。盡管曾經(jīng)一度面臨電子游戲的威脅,但線下桌游卻在近年來迎來了又一次復(fù)興,其復(fù)雜的機(jī)制和愈發(fā)精美的棋盤都吸引了更多新玩家,此外玩家之間的線下互動也擁有獨(dú)特的魅力。當(dāng)這些游戲的受歡迎程度在線下得到驗(yàn)證后,就有廠商將其搬到線上,但成績都并不理想,近些年,我們看到做移植比較多的也就是 Ludo 類,其中出海產(chǎn)品 Yalla Ludo 是一個非常成功的案例。
但在 Ludo 之外,很難有破圈產(chǎn)品,感興趣的同學(xué)也可以閱讀白鯨出海之前策劃的選題《Yalla Ludo之后,下一個游戲社交的爆款會是誰?》,那篇文章是對全球桌面游戲市場份額第一的「大富翁」難以成功移植移動端的論述,為了進(jìn)一步深入分析這個問題,白鯨出海特別選取gamesindustry.biz專欄《The mobile board game market is growing, and ripe for disruption》,解讀桌游在移動平臺所面臨的機(jī)遇和挑戰(zhàn)。
2018 年全球桌游市場份額丨數(shù)據(jù)來源:Grand View Research
在探尋這個問題的答案之前,我們先明確一下本文中“桌游”的定義:它特指的是多人回合制策略游戲,通常由棋子和棋盤組成,有時也會用骰子或紙牌代替。
移動桌游,是個偽命題嗎?
表面上看,桌游完成線上轉(zhuǎn)型后就脫離了需要玩家親自到場的限制,因此參與并開始一局游戲應(yīng)該更簡單才對。舉例來說,一位老父親可能想在網(wǎng)上鍛煉一下象棋技藝,那么他就可以直接選擇一個象棋對戰(zhàn)平臺,畢竟在網(wǎng)上很容易找到一名棋友。
然而對桌游而言,這一轉(zhuǎn)變在手機(jī)平臺上卻并不順利。手機(jī)不是電腦,雖然它更便攜,但這也意味著玩家也更容易受到周邊環(huán)境的干擾。換句話說,手游的沉浸感更差,這讓玩家更容易分心。所以不少玩家可能只會把游戲玩到一半,之后就退出游戲轉(zhuǎn)而做其他事情。
這一特性就和不少桌游的機(jī)制產(chǎn)生了沖突。在策略游戲中,玩家需要時間來思考戰(zhàn)術(shù)。因此即便是最短的一個回合也有可能因?yàn)橥婕倚枰与娫挾淮驍唷T谝苿悠脚_上,一場對決也會因玩家點(diǎn)擊了一個內(nèi)置廣告的舉動而不得不暫停,甚至被放棄,這就讓游戲的完成度受到嚴(yán)重影響。
另一個問題在于難度。一般來說,益智手游玩家的獲勝率會超過 80%,而在匹配玩家實(shí)力旗鼓相當(dāng)?shù)那闆r下,桌游的勝率率往往只有 50%。因此即使移動平臺上的桌游會讓玩家與 AI 對戰(zhàn),玩家的獲勝率也遠(yuǎn)低于其他品類,不少新玩家也因此望而卻步。
不過,對于進(jìn)入移動平臺的桌游來說,最大的問題還不在于完成度與難度,而是在于如何融入變現(xiàn)渠道上。
對開發(fā)者來說,桌游似乎與 App 內(nèi)購(IAP)以及內(nèi)置廣告格格不入。在角色扮演游戲(RPG)中,很多玩家都熱衷購買各類裝備。相比之下,桌游能提供購買的就只有回合快進(jìn)選項(xiàng)以及部分棋子,但這兩類商品的受眾都很少。
當(dāng)然,「Scrabble GO」這類拼字游戲可能會提供交換拼字卡片等決定勝負(fù)的關(guān)鍵服務(wù),但大部分移動版桌游都不會提供左右勝負(fù)的內(nèi)購項(xiàng)目,因此玩家的購買欲望也并不強(qiáng)烈。
多人在線休閑手游「Board King)」看起來與「大富翁(Monopoly)」有幾分相似之處,但在細(xì)節(jié)上又有很多不同 | 圖片來源:gamesindustry.biz
除了內(nèi)購項(xiàng)目很難吸引玩家之外,桌游本身與廣告的兼容性也比較差。正如之前所說,如果玩家在一個回合中點(diǎn)擊了廣告,那么游戲過程就必然會被打斷,嚴(yán)重影響到游戲本身的樂趣。硬核桌游玩家甚至?xí)?nèi)置廣告感到厭煩,直接跳過所有營銷內(nèi)容。如此一來廠商面臨的就是雙輸境地:玩家不喜歡游戲,廣告主也很難獲得理想的宣傳效果。
那么進(jìn)入到移動平臺上的桌游,到底能否解決這個問題?在尋求答案之前,我們了解一下移動平臺上的三類桌游開發(fā)思路:直接照搬到移動平臺上的經(jīng)典桌游、移動廠商購買 IP 授權(quán)改編的現(xiàn)代桌游,以及完全為移動平臺量身定制的原創(chuàng)桌游;然后再來看看這三類游戲的變現(xiàn)潛力和成功案例。
直接將經(jīng)典桌游搬到手機(jī)上,Yalla Ludo為什么就能成功?
經(jīng)典類桌游在變現(xiàn)方面始終上存在較大困難。雖然人們都會下棋和玩牌,但很多棋類網(wǎng)站卻只能通過捐贈、VIP 會員或付費(fèi)教程盈利。傳統(tǒng)的棋類游戲本身就不適合被搬上移動平臺。一方面它需要玩家高度集中注意力,另一方面它的操作模式也不適合觸屏。從目前來看,只有國際象棋平臺「Chess.com」創(chuàng)造了可觀的收入。
不過,經(jīng)典桌游在移動端也有一些成功案例,「西洋雙陸棋(Backgammon)」就是其中之一。這是由于游戲本身擁有下注操作,因此投注貨幣可以作為內(nèi)購項(xiàng)目出售。此外雙陸棋的隨機(jī)性很強(qiáng),對策略的要求較低,因此玩家所需維持的注意力強(qiáng)度也會比傳統(tǒng)棋類游戲更低。
Yalla Group 旗下的「Ludo」是最成功的經(jīng)典桌游之一,它的內(nèi)購和廣告營收都很高;而「Ludo」之所以能成功轉(zhuǎn)型移動端,其主要原因也在于它的隨機(jī)性很強(qiáng),策略思考周全與否對游戲結(jié)果的影響并不大。因此玩家可以一邊玩游戲,一邊處理其他事情。
在獲客方面,很多廠商都認(rèn)為經(jīng)典桌游的準(zhǔn)入門檻很低,因此所有廠商的起始點(diǎn)也都一樣。然而實(shí)際情況并非如此,不少游戲已經(jīng)取得了先發(fā)優(yōu)勢,它們的玩家群體也很難被其他同類競品吸引;因此廠商往往需要很高的營銷預(yù)算才能和先來者展開競爭。
拿IP改手游,獲客與變現(xiàn)上都不占優(yōu)
不少知名桌游目前都受版權(quán)法保護(hù)。因此也有很多廠商會直接購買這些桌游的 IP,然后開發(fā)對應(yīng)的手游版本。著名 IP 天生帶有強(qiáng)烈的品牌效應(yīng),此外廠商往往會在這類游戲美術(shù)方面大量投入資金,以吸引新玩家入駐。這些元素都大大降低了該類手游的獲客成本。
從表面上看,這似乎是一種合理的商業(yè)模式。先是獲得經(jīng)典桌游的授權(quán),然后再改編成手游。廠商會用測試版吸引過去的線下老玩家,然后再嘗試獲取更多目標(biāo)用戶,擴(kuò)大受眾規(guī)模。但是一款知名的線下桌游就一定能在線上獲得成功嗎?
雖然得到經(jīng)典桌游授權(quán)能幫助廠商減少營銷投入,但像「Words With Friends」等設(shè)計(jì)優(yōu)秀的原創(chuàng)桌游依然有可能在市場表現(xiàn)上更勝一籌。| 圖片來源:gamesindustry.biz
手游市場的獲客競爭非常激烈,與三消和超休閑游戲相比,許多桌游都更難上手。因此游戲的玩家流失率偏高,忠實(shí)玩家的獲客成本也更高。當(dāng)然這點(diǎn)對于 RPG 和策略類游戲也適用,但不同之處在于 RPG 游戲可以通過出售道具來實(shí)現(xiàn)盈利,而桌游在這方面明顯處于劣勢。
因此,將一款頭部桌游的線下玩家拓展至線上是一項(xiàng)極大的挑戰(zhàn)。此外除了頭部桌游IP以外,很多桌游玩家本身都并不喜歡玩手機(jī)游戲,這讓玩家匹配的難度也大幅度上升,吸引新玩家更是難上加難。
如此一來,移動端上的現(xiàn)代桌游往往都只能以買斷制的形式上架,讓桌游的現(xiàn)有線下玩家通過搜索廣告來發(fā)現(xiàn)手游版本,但這也讓游戲的變現(xiàn)空間被嚴(yán)重壓縮。育碧旗下的「大富翁(Monopoly)」和 EA 旗下的「生命游戲(The Game of Life)」均采用了這一商業(yè)模式。
在考慮將桌游 IP 改編為手游時,廠商必須要首先預(yù)付版權(quán)費(fèi),此外還受到各種條款約束,因此IP本身的變現(xiàn)潛力并不突出。此外,盡管頭部桌游 IP 知名度很高,但它也無法杜絕模仿者的入局。以英語拼字游戲「Scrabble GO」為例,盡管它已經(jīng)獲得了官方授權(quán),但 Zynga 出品的同類競品「Words With Friends」在各項(xiàng)成績方面都與其非常接近。
為移動端打造的原創(chuàng)桌游,近300萬美金的月流水
將桌游搬到移動平臺還有第三種策略,那就是專門為移動端量身打造游戲。這里舉幾個做得不錯的案例。
「Wordscapes」的字謎機(jī)制在任何線下桌游里都不存在,甚至在 PC 端也很難成功。然而它卻將策略因素的占比降到了最低,還盡量避免了玩家之間的對抗。也就是說「Wordscapes」基本上等同于單機(jī)益智游戲,積分榜是唯一的對抗因素,這讓它抓住了益智類手游玩家的主要訴求,進(jìn)而獲得了成功。
再來看看「棋盤王國(Board Kings)」,這是一款很有意思的休閑類手游。乍一看上去它的確借鑒了「大富翁(Monopoly)」中的許多元素,然而它其實(shí)并不是桌游;因?yàn)檫@款游戲不提供任何策略玩法,玩家之間也不會相互對抗。取而代之的是玩家可以相互訪問對方的“棋盤”,而這其實(shí)是模擬經(jīng)營類游戲的常見設(shè)計(jì)。「棋盤王國」只為手游玩家提供了桌游中最令人向往的幾個要素,但同時又滿足了手游玩家更為休閑化的體驗(yàn)需求,因此它也成為了同類產(chǎn)品中的佼佼者。根據(jù) Sensor Tower 數(shù)據(jù),這款手游 2021 年 11 月的全球流水達(dá)到了 290 萬美金。
和其他以機(jī)制創(chuàng)新為主要特點(diǎn)的游戲一樣,移動端上的原創(chuàng)桌游也面臨著相同的問題:雖然很多新玩家都會下載游戲,但最終只有少數(shù)人會一直玩下去。較高的用戶流失率和忠實(shí)玩家獲取成本是該類游戲的最大弱點(diǎn)。因此維持多人對戰(zhàn)的線上玩家群體更是非常困難。
針對這個問題,「FILD Renegade Monsters」的策略則是從對戰(zhàn)轉(zhuǎn)型為單機(jī)游戲。在前期玩家大量流失、線上對戰(zhàn)模式難以維持后,這款游戲就迅速更改為單人桌游機(jī)制。在新的模式下,玩家面臨的是越來越強(qiáng)大的 AI 對手,這讓「FILD Renegade Monsters」的體驗(yàn)更為緊湊,也更能被手游玩家所習(xí)慣。
結(jié)語
通過以上三類移動版桌游的實(shí)際案例,我們可以看出該類手游在開發(fā)時所需要注意的幾個關(guān)鍵要素。
1. 桌游并不是最適合被移植到移動端的游戲形式,但桌游的許多元素都有拓展空間。「棋盤王國」和「Words With Friends」的成功表明許多玩家依然希望在手機(jī)上獲得一部分傳統(tǒng)的桌游體驗(yàn),此外該類游戲的開發(fā)成本較低,也能在后 IDFA 時代為其他游戲進(jìn)行營銷宣傳。
2. 只有專為移動設(shè)備打造的原創(chuàng)桌游才有機(jī)會獲得成功。經(jīng)典桌游以及知名 IP 的移動端版本都已經(jīng)被頭部廠商發(fā)掘,此外這兩類游戲在機(jī)制上也并不適合大部分手游玩家。原創(chuàng)桌游的開發(fā)廠商要想盈利就必須采用 F2P 模式,只有這樣才有機(jī)會能吸引大量的潛在玩家。
3. 游戲玩法必須具有很強(qiáng)的隨機(jī)性,也不能太過復(fù)雜,單回合時長必須只有幾分鐘。新玩家應(yīng)該先與低難度 AI 對戰(zhàn),然后再逐步升級難度。只有當(dāng)玩家群體足夠大,能夠快速、公平的匹配對局時,游戲才能推出對戰(zhàn)模式。
如此一來,最適合移動平臺的“桌游”其實(shí)更像休閑社交游戲。總體而言,盡管桌游本身面臨著種種局限和水土不服,但由于手游玩家的需求依然強(qiáng)烈,因此為移動平臺打造專屬桌游體驗(yàn)的潛力依然很大。
工智能的熱度如今是逐年攀升。人工智能是如何發(fā)展起來的?北郵的人工智能怎么樣?北郵有哪些教授團(tuán)隊(duì)?北郵有哪些研究人工智能的院士?北郵的行業(yè)內(nèi)評價如何?以下將一一回答上述問題
回顧人工智能的發(fā)展史,從1956年達(dá)特茅斯會議之后,人工智能迅速進(jìn)入起步發(fā)展期,相繼取得了一批令人矚目的研究成果。如機(jī)器定理證明、跳棋程序等,被廣泛應(yīng)用于數(shù)學(xué)領(lǐng)域,用來解決代數(shù)、幾何問題,這讓很多研究學(xué)者看到了機(jī)器向人工智能發(fā)展的信心。1959年“跳棋程序”實(shí)現(xiàn)了人工智能戰(zhàn)勝人類的事件,打敗了當(dāng)時設(shè)計(jì)他的設(shè)計(jì)師Samuel,并在1962年打敗了州跳棋冠軍。
二十世紀(jì)七八十年代,人工智能迎來第二波浪潮。1975年 Marvin Minsky 提出框架理論,用于人工智能的“知識表示“。1976年奠定計(jì)算視覺領(lǐng)域的基礎(chǔ)的視覺計(jì)算理論由David Marr提出。1979年,電腦擊敗世界雙陸棋冠軍。1985年,Judea Pearl 首先提出貝葉斯網(wǎng)絡(luò)。1986年由David E. Rumelhart 、 Geoffrey E. Hinton 等人在Learning representations by back propagating errors文章中提出了反向傳播算法( Backpropagation algorithm )。BP算法是現(xiàn)在的深度學(xué)習(xí)中仍然被使用的訓(xùn)練算法,奠定了神經(jīng)網(wǎng)絡(luò)走向完善和應(yīng)用的基礎(chǔ)。
二十世紀(jì)九十年代,進(jìn)入平穩(wěn)發(fā)展期。1995年,Corinna Cortes 和Vladimir Vapnik首次提出支持向量機(jī)(Support Vector Machine)的概念
一1993年至今迎來了人工智能的第三次浪潮。1997年5月,IBM的“深藍(lán)”戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫,.2014年,Ian Goodfellow等人提出生成對抗網(wǎng)絡(luò)。2016年3月,AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn),以4:1的總比分獲勝。2017年5月,在中國烏鎮(zhèn)圍棋峰會上,AlphaGo與排名世界第一的世界圍棋冠軍柯潔對戰(zhàn),以3比0的總比分獲勝
人工智能的發(fā)展伴隨著人類科技對困難問題的發(fā)起的一次次挑戰(zhàn),從最早的只能執(zhí)行簡單的重復(fù)活動,到現(xiàn)在能擊敗圍棋冠軍,人工智能發(fā)展可謂是日新月異。如今人工智能在智能駕駛、智能物流、智能農(nóng)業(yè)、智能交通等舞臺發(fā)光發(fā)熱。
人工智能的發(fā)展離不開軟硬件的支持。硬件上,AlphaGo 使用了1920CPU +2800GPU,后來又提出了 TPU(Google)、VPU(Intel) 、APU(ADM)、IPU(DeepMind+Graphcore)等智能芯片。軟件上,從貝葉斯網(wǎng)絡(luò)到支持向量機(jī)到各種卷積神經(jīng)網(wǎng)絡(luò),越來越多的算法被提出。
那么有沒有學(xué)校能同時覆蓋人工智能的各個領(lǐng)域呢?答案就是今天要介紹的北京郵電大學(xué)。
北京郵電大學(xué)是教育部直屬、工業(yè)和信息化部共建、首批進(jìn)行“211工程”建設(shè)的全國重點(diǎn)大學(xué),是“985優(yōu)勢學(xué)科創(chuàng)新平臺”項(xiàng)目重點(diǎn)建設(shè)高校,是一所以信息科技為特色、工學(xué)門類為主體、工管文理協(xié)調(diào)發(fā)展的多科性、研究型大學(xué),是我國信息科技人才的重要培養(yǎng)基地。2017年,“信息網(wǎng)絡(luò)科學(xué)與技術(shù)學(xué)科群”和“計(jì)算機(jī)科學(xué)與網(wǎng)絡(luò)安全學(xué)科群”兩個學(xué)科群進(jìn)入一流學(xué)科建設(shè)行列
其下的計(jì)算機(jī)學(xué)院,電子工程學(xué)院和人工智能學(xué)院實(shí)力強(qiáng)勁,其研究設(shè)涉及人工智能的多個領(lǐng)域。
計(jì)算機(jī)學(xué)院
2017年教育部第四輪學(xué)科評估中,計(jì)算機(jī)科學(xué)與技術(shù)一級學(xué)科評估結(jié)果為A。2017年,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科入選國家“雙一流”建設(shè)一流學(xué)科。2019年ESI計(jì)算機(jī)學(xué)科學(xué)術(shù)機(jī)構(gòu)最新排名進(jìn)入全球1‰
目前,學(xué)院建有網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室、可信分布式計(jì)算與服務(wù)教育部重點(diǎn)實(shí)驗(yàn)室、電子政務(wù)云計(jì)算應(yīng)用技術(shù)國家工程實(shí)驗(yàn)室、智能通信軟件與多媒體北京市重點(diǎn)實(shí)驗(yàn)室、教育部信息網(wǎng)絡(luò)工程中心、通信軟件工程中心(原郵電部重點(diǎn)實(shí)驗(yàn)室)等高水平研究基地。
學(xué)院建立了完整的、多層次的人才培養(yǎng)體系,設(shè)有計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程兩個一級學(xué)科碩士點(diǎn)、博士點(diǎn)、博士后流動站,計(jì)算機(jī)科學(xué)與技術(shù)、網(wǎng)絡(luò)工程、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、軟件工程四個本科專業(yè)。計(jì)算機(jī)科學(xué)與技術(shù)、網(wǎng)絡(luò)工程為國家級特色專業(yè)。2019年,計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程專業(yè)獲批首批國家級一流本科專業(yè)建設(shè)點(diǎn)
學(xué)院近年來承擔(dān)了數(shù)百項(xiàng)國家自然科學(xué)基金、國家973計(jì)劃、863計(jì)劃項(xiàng)目、國家重點(diǎn)研發(fā)計(jì)劃等國家級和省部級重點(diǎn)科研項(xiàng)目。獲得國家級科技獎勵6項(xiàng),省部級以上科技進(jìn)步獎60余項(xiàng)
電子工程學(xué)院
學(xué)院依托信息網(wǎng)絡(luò)科學(xué)與技術(shù)一流學(xué)科群和電子科學(xué)與技術(shù)A類學(xué)科建設(shè),擁有電子信息科學(xué)與技術(shù)、電子科學(xué)與技術(shù)、光電信息科學(xué)與工程三個國家級一流本科專業(yè)
學(xué)院建設(shè)了通信與網(wǎng)絡(luò)核心技術(shù)創(chuàng)新引智基地,引進(jìn)了包括諾貝爾物理學(xué)獎獲得者若列斯·阿爾費(fèi)羅夫團(tuán)隊(duì)在內(nèi)的世界一流學(xué)術(shù)大師和科研學(xué)者,形成了實(shí)力強(qiáng)大的國際化研究陣容。
學(xué)院擁有優(yōu)質(zhì)的教學(xué)實(shí)驗(yàn)環(huán)境,擁有兩個國家級實(shí)驗(yàn)教學(xué)示范中心—電子信息實(shí)驗(yàn)教學(xué)中心和電子信息虛擬仿真實(shí)驗(yàn)教學(xué)中心,擁有1個國家級虛擬仿真實(shí)驗(yàn)示范中心實(shí)驗(yàn)室。建設(shè)了信號與系統(tǒng)、電路中心和電子實(shí)驗(yàn)中心,承擔(dān)了全校的基礎(chǔ)實(shí)驗(yàn)課程和學(xué)院的專業(yè)實(shí)驗(yàn)課程,
人工智能學(xué)院
北京郵電大學(xué)是國內(nèi)最早從事人工智能人才培養(yǎng)和科學(xué)研究的單位之一,是中國人工智能學(xué)會(CAAI)的掛靠單位。學(xué)校匯聚學(xué)校在人工智能領(lǐng)域的100多名優(yōu)秀師資,于2020年1月7日成立了國內(nèi)規(guī)模最大的人工智能學(xué)院。
學(xué)院設(shè)置4個系:智能信息工程系、智能科學(xué)與技術(shù)系、智能控制系、腦認(rèn)知與智能醫(yī)學(xué)系;擁有6個本科專業(yè):信息工程專業(yè)、智能科學(xué)與技術(shù)專業(yè)、人工智能專業(yè)、測控技術(shù)與儀器專業(yè)、自動化專業(yè)、智能醫(yī)學(xué)工程專業(yè);建設(shè)3個一級學(xué)科博士點(diǎn):信息與通信工程、計(jì)算機(jī)科學(xué)與技術(shù)、控制科學(xué)與工程;建設(shè)4個一級學(xué)科碩士點(diǎn):信息與通信工程、計(jì)算機(jī)科學(xué)與技術(shù)、生物醫(yī)學(xué)工程、控制科學(xué)與工程;建設(shè)2個二級學(xué)科博士點(diǎn):智能科學(xué)與技術(shù)和人工智能交叉學(xué)科。另外,學(xué)院還擁有“信息內(nèi)容安全技術(shù)”國家工程實(shí)驗(yàn)室、“交互技術(shù)與體驗(yàn)系統(tǒng)” 文化和旅游部重點(diǎn)實(shí)驗(yàn)室等國家級、省部級教學(xué)科研及國際合作基地。
越來越多的同學(xué)選擇在北郵深造也是因?yàn)楸编]有著實(shí)力雄厚的教授團(tuán)隊(duì)
強(qiáng)勢教授團(tuán)隊(duì)
郭軍教授團(tuán)隊(duì)
郭軍教授團(tuán)隊(duì)現(xiàn)有教師21名,以青年教師為主,均具有博士學(xué)位或高級職稱,其中,教授2名,副教授15名,講師4名,中心長期從事模式識別、信息檢索、網(wǎng)絡(luò)管理等方面的研究,主要研究內(nèi)容包括圖像識別、語音識別、信息檢索與過濾技術(shù)、演進(jìn)式多媒體過濾技術(shù)、網(wǎng)絡(luò)管理技術(shù)、網(wǎng)絡(luò)輿情監(jiān)測技術(shù)等。近5年來,總計(jì)發(fā)表論文200多篇,被SCI收錄30多篇,其中包括IEEE TPAMI,IEICE Trans、CVPR、ICCV、AAAI在內(nèi)的國際頂級期刊和會議,獲得授權(quán)專利20項(xiàng)。中心承擔(dān)了國家無線重大專項(xiàng)1項(xiàng),題目:移動互聯(lián)網(wǎng)網(wǎng)絡(luò)與信息安全技術(shù)研究,國家863項(xiàng)目1項(xiàng)、國家自然科學(xué)基金10項(xiàng)、國家發(fā)改委項(xiàng)目1項(xiàng)。在863評測中,獲手寫漢字識別、文本分類、人臉檢測等多個項(xiàng)目的第一名,科研成果顯著。團(tuán)隊(duì)所在的實(shí)驗(yàn)室是信息內(nèi)容安全技術(shù)國家工程實(shí)驗(yàn)室的組成部分,國家“211”工程重點(diǎn)建設(shè)的實(shí)驗(yàn)室之一,教育部創(chuàng)新引智基地項(xiàng)目依托的實(shí)驗(yàn)室。
張平教授團(tuán)隊(duì)
張平教授團(tuán)隊(duì)在無線通信領(lǐng)域已進(jìn)行了近二十年的研究,研究方向緊密圍繞無線通信網(wǎng)泛在化演進(jìn)時面臨的新理論和新技術(shù)問題。多年來致力于無線通信關(guān)鍵技術(shù)的研究,包括物理層、媒體接入控制層、網(wǎng)絡(luò)層、業(yè)務(wù)環(huán)境和演示系統(tǒng)搭建等。團(tuán)隊(duì)在協(xié)作通信、多址接入、組網(wǎng)技術(shù)方向進(jìn)行了深入研究,在異構(gòu)協(xié)同通信、多域分層協(xié)同通信、無線網(wǎng)絡(luò)資源優(yōu)化等方面有很多的研究積累和創(chuàng)新,提出了多種新模型、新算法與新機(jī)制,取得了突出的創(chuàng)新成果,在國內(nèi)無線通信領(lǐng)域具有顯著的優(yōu)勢和明顯的創(chuàng)新潛力。
北郵的院士代表著北郵的頂尖研究水平
李德毅 院士
中國工程院院士、歐亞科學(xué)院院士,指揮自動化和人工智能專家。現(xiàn)任總參第61研究所研究員,中國指揮和控制學(xué)會名譽(yù)理事長,中國人工智能學(xué)會理事長。李德毅參加了多項(xiàng)電子信息系統(tǒng)重大工程的研制和開發(fā);最早提出“控制流—數(shù)據(jù)流”圖對理論和一整套用邏輯語言實(shí)現(xiàn)的方法;證明了關(guān)系數(shù)據(jù)庫模式和謂詞邏輯的對等性;提出云模型、云變換、云推理、云控制等方法用于不確定性認(rèn)知和云計(jì)算,在智能控制“三級倒立擺動平衡”實(shí)驗(yàn)和智能駕駛中取得顯著成效。獲國家和省部級二等獎以上獎勵9項(xiàng),獲得10項(xiàng)發(fā)明專利,發(fā)表論文130多篇,出版中文著作5本、英文專著3本。現(xiàn)為北京郵電大學(xué)計(jì)算機(jī)學(xué)院院長。
王天然 院士
中國工程院院士、自動化控制與機(jī)器人技術(shù)專家。
曾任中國科學(xué)院沈陽自動化研究所所長。長期致力于機(jī)器人技術(shù)、大型工業(yè)自動化系統(tǒng)的研究和應(yīng)用,是我國機(jī)器人和自動化工程技術(shù)界的學(xué)科帶頭人之一。在智能機(jī)器人體系結(jié)構(gòu)、工業(yè)機(jī)器人控制系統(tǒng)、大型自動化系統(tǒng)技術(shù)等方面做出了重要貢獻(xiàn)。獲國家科技進(jìn)步二等獎2項(xiàng),中科院科技進(jìn)步特等獎、一等獎各1項(xiàng)。現(xiàn)任中國科學(xué)院沈陽自動化研究所學(xué)術(shù)委員會主任、研究員、博士生導(dǎo)師,機(jī)器人技術(shù)國家工程研究中心主任,遼寧省科協(xié)主席,北京郵電大學(xué)自動化學(xué)院院長。
北郵就業(yè)又如何呢?
2021 ,北郵有兩千余名畢業(yè)生投身于網(wǎng)絡(luò)強(qiáng)國建設(shè),在 5G、芯片、大數(shù)據(jù)、 人工智能、網(wǎng)絡(luò)空間安全等戰(zhàn)略性新興領(lǐng)域就業(yè)。北郵去往中國移動、中國電信、中 國聯(lián)通、華為的畢業(yè)生超 550 人;在互聯(lián)網(wǎng)行業(yè)就業(yè)的畢業(yè)生也越來越集中到行業(yè)頭部企業(yè)
2021 年,北郵畢業(yè)生在騰訊、百度、字節(jié)跳動就業(yè)的人數(shù)均位列全國高校第 一;在工農(nóng)中建四大行總部及直屬機(jī)構(gòu)就業(yè)的人數(shù)也都位居全國高校前五位。同時, 越來越多的北郵畢業(yè)生選擇在航天軍工領(lǐng)域就業(yè),2021 屆畢業(yè)生在中國電子科技集 團(tuán)、中國航空工業(yè)集團(tuán)、中國航天科技集團(tuán)、中國航天科工集團(tuán)等重點(diǎn)企業(yè)就業(yè)的人 數(shù)達(dá)到 229 人。2021 年,北郵有 489 名畢業(yè)生就職于各級機(jī)關(guān)和科研事業(yè)單位,其 中入職中辦、外交部、國安部、公安部、中央網(wǎng)信辦等國家部委的人數(shù)超過 50 人。有近 500 名畢業(yè)生赴祖國中西部省份就業(yè)。畢業(yè)生在國家重點(diǎn)地區(qū)、重點(diǎn)領(lǐng)域就業(yè)的 人數(shù)大幅增長,就業(yè)質(zhì)量持續(xù)提升,就業(yè)結(jié)構(gòu)更加優(yōu)化
北郵 2021 屆畢業(yè)生對目前工作總的滿意度達(dá) 98.97%,其中本科生畢業(yè)生對目前 工作的總體滿意度為 98.40%,研究生畢業(yè)生對目前工作的總體滿意度為 99.14%。畢 業(yè)生初入職場的崗位和工作內(nèi)容與自身職業(yè)期待吻合度較高,實(shí)現(xiàn)了滿意就業(yè)。
行業(yè)評價
2021 年學(xué)校向招錄北郵畢業(yè)生的 189 家主要用人單位發(fā)放了調(diào)查問卷,了解其 對北郵畢業(yè)生工作表現(xiàn)的評價情況,98%的受訪用人單位均對北郵畢業(yè)生的工作表現(xiàn) 感到滿意。
以上內(nèi)容節(jié)選自《2021北京郵電大學(xué)就業(yè)質(zhì)量報(bào)告》
以上梳理了人工智能的發(fā)展脈絡(luò),并介紹了人工智能強(qiáng)校北京郵電大學(xué),不知各位同學(xué)家長意向如何?
器之心報(bào)道
機(jī)器之心編輯部
AlphaStar 是有史以來第一個在無限制情況下達(dá)到主流電子競技游戲頂級水準(zhǔn)的 AI,它在星際爭霸 2 上達(dá)到了最高的 Grandmaster(宗師)段位。
今天,DeepMind 有關(guān) AlphaStar 的論文發(fā)表在了最新一期《Nature》雜志上,這是人工智能算法 AlphaStar 的最新研究進(jìn)展,展示了 AI 在「沒有任何游戲限制的情況下」已經(jīng)達(dá)到星際爭霸 2 人類對戰(zhàn)天梯的頂級水平,在 Battle.net 上的排名已超越 99.8%的活躍玩家,相關(guān)的錄像資料也已放出。
雖然還是打不過世界第一人類選手 Serral,但 AlphaStar 已經(jīng)登上了 Nature。在 DeepMind 的最新博客中,研究者們對于這一 AI 算法的學(xué)習(xí)能力進(jìn)行了詳細(xì)介紹。
在游戲中,壓榨(Exploiter)智能體(紅色)發(fā)現(xiàn)了一種「Tower Rush」策略,從而打敗了核心智能體(藍(lán)色)。
隨著訓(xùn)練的進(jìn)行,新的核心智能體(綠色)已經(jīng)學(xué)會拖農(nóng)民和其他單位來對抗壓榨智能體(紅色)的「Tower Rush」。
與此同時,新的核心智能體(綠色)通過優(yōu)勢經(jīng)濟(jì)、單位配合和控制擊敗了早期核心智能體(藍(lán)色)。
新的壓榨智能體(棕色)發(fā)現(xiàn)了新核心智能體不會反隱的弱點(diǎn),并通過建造隱刀成功擊敗了它。
DeepMind 發(fā)推稱已達(dá)到 Grandmaster 水平。
在今年夏天線上和線下的一系列比賽中,AlphaStar 暫時沒像前輩 AlphaGo 那樣一舉擊敗「人類界最強(qiáng)選手」,但仍然在與全球頂級玩家的 90 場比賽中取得了 61 場勝利。
基于在游戲?qū)?zhàn)上的表現(xiàn),谷歌旗下公司在星際爭霸 2 上的研究或許可以在數(shù)字助理、自動駕駛,乃至軍事戰(zhàn)略為人類帶來幫助。
星際爭霸:人工智能的「下一個重大挑戰(zhàn)」
星際爭霸 2 是人類游戲史上最困難、最成功的即時戰(zhàn)略游戲,這一系列游戲的歷史已經(jīng)超過 20 年。星際爭霸長盛不衰的部分原因在于其豐富的多層次游戲機(jī)制,對于人工智能研究來說,這是一個非常接近現(xiàn)實(shí)世界的虛擬環(huán)境。
自從圍棋、國際象棋、德州撲克相繼被計(jì)算機(jī)破解以來,星際爭霸被視為人工智能的「下一個重大挑戰(zhàn)」。
星際爭霸 2 巨大的操作空間和非完美信息給構(gòu)建 AlphaStar 的過程帶來了巨大挑戰(zhàn)。與圍棋不同,星際爭霸 2 有著數(shù)百支不同的對抗方,而且他們同時、實(shí)時移動,而不是以有序、回合制的方式移動。國際象棋棋子符合規(guī)則的步數(shù)有限,但 AlphaStar 每時每刻都有超過 1026 種動作選擇,即操作空間非常巨大。而且,與圍棋等完美信息游戲不同,星際爭霸 2 是非完美信息游戲,玩家經(jīng)常無法看到對手的行動,因此也無法預(yù)測對手的行為。
2017 年,DeepMind 宣布開始研究能進(jìn)行即時戰(zhàn)略游戲星際爭霸 2 的人工智能——AlphaStar。事實(shí)上,根據(jù) DeepMind 博客提供的信息,DeepMind 對星際爭霸的研究已經(jīng)超過 15 年。也就是說,對整個星際爭霸游戲智能體的研究早在 2004 年之前就開始。
2018 年 12 月 10 日,AlphaStar 擊敗了 DeepMind 公司里的最強(qiáng)玩家 Dani Yogatama;到了 12 月 12 日,AlphaStar 已經(jīng)可以 5:0 擊敗職業(yè)玩家 TLO 了(TLO 是蟲族玩家,據(jù)游戲解說們認(rèn)為,其在游戲中的表現(xiàn)大概能有 5000 分水平);又過了一個星期,12 月 19 日,AlphaStar 同樣以 5:0 的比分擊敗了職業(yè)玩家 MaNa。
至此,AlphaStar 又往前走了一步,達(dá)到了主流電子競技游戲頂級水準(zhǔn)。
排名前 1%,「神族、人族、蟲族」均達(dá)到大師水平
DeepMind 稱,AlphaStar 本次研究和以往有以下不同:
DeepMind 使用通用機(jī)器學(xué)習(xí)技術(shù)(包括神經(jīng)網(wǎng)絡(luò)、借助于強(qiáng)化學(xué)習(xí)的自我博弈、多智能體學(xué)習(xí)和模仿學(xué)習(xí))直接從游戲數(shù)據(jù)中學(xué)習(xí)。據(jù)《Nature》論文中描述,AlphaStar 在 Battle.net 上的排名已超越 99.8%的活躍玩家,并且在星際爭霸 2 的三場比賽(神族、人族和蟲族)中都達(dá)到了大師級水平。研究者希望這些方法可以應(yīng)用于諸多其他領(lǐng)域。
基于學(xué)習(xí)的系統(tǒng)和自我博弈顯著促進(jìn)了人工智能的顯著進(jìn)步。1992 年,IBM 的研究人員開發(fā)出了 TD-Gammon,結(jié)合基于學(xué)習(xí)的系統(tǒng)與神經(jīng)網(wǎng)絡(luò)玩西洋雙陸棋(backgammon)。TD-Gammon 不是根據(jù)硬編碼規(guī)則或啟發(fā)法來玩游戲,而是在設(shè)計(jì)上使用強(qiáng)化學(xué)習(xí)并反復(fù)試驗(yàn),找出如何獲得最大化勝率。開發(fā)人員利用自玩對弈的概念使得系統(tǒng)的魯棒性更強(qiáng):即通過與自身版本進(jìn)行對抗,系統(tǒng)變得越來越精通游戲。當(dāng)結(jié)合起來時,基于學(xué)習(xí)的系統(tǒng)和自我博弈的概念提供了開放式學(xué)習(xí)的強(qiáng)大范式。
從那以后,諸多進(jìn)展表明,這些方法可以擴(kuò)展到其他挑戰(zhàn)日益增多的領(lǐng)域。例如,AlphaGo 和 AlphaZero 證實(shí)了系統(tǒng)可以在圍棋、國際象棋和日本將棋等游戲中,展現(xiàn)人類所不能及的能力。OpenAI Five 和 DeepMind 的 FTW 也在 Dota 2 和《雷神之錘 III》現(xiàn)代游戲中展現(xiàn)了自我博弈的強(qiáng)大性能。
DeepMind 的研究者潛心于開放式學(xué)習(xí)的潛力及局限性研究,開發(fā)出既魯棒又靈活的智能體,從而可以應(yīng)對復(fù)雜的現(xiàn)實(shí)世界環(huán)境。星際爭霸之類的游戲是推進(jìn)這些方法的絕佳訓(xùn)練場,因?yàn)橥婕冶仨毷褂糜邢薜男畔碜龀鲮`活有難度的決策。
在智能體「聯(lián)盟」中進(jìn)行的自我博弈
Deepmind 發(fā)現(xiàn),AlphaStar 的游戲方式令人印象深刻——這個系統(tǒng)非常擅長評估自身的戰(zhàn)略地位,并且準(zhǔn)確地知道什么時候接近對手、什么時候遠(yuǎn)離。雖然 AlphaStar 已經(jīng)具備了出色的控制力,但它還沒有表現(xiàn)出超人類的能力,至少沒有到那種人類理論無法企及的高度——總體來說還是公平的,與它對戰(zhàn)的感覺就像平時星際爭霸真實(shí)對戰(zhàn)的場景。
即使取得了成功,自我博弈會存在缺陷:能力確實(shí)會不斷提升,但它也會忘記如何戰(zhàn)勝之前的自己。這可能會造成「追尾」(像小狗那樣自己追著自己的尾巴),從而失去了真正的提升機(jī)會。
比如說,在石頭剪刀布的游戲中,一個人可能更喜歡出石頭,在游戲玩法提升過程中,它會變成愛出剪刀,后來又變成了愛出石頭。進(jìn)入與所有游戲策略的對戰(zhàn)是解決虛擬自我博弈此前存在問題的途徑。
在首次將 StarCraft II 開源后,Deepmind 發(fā)現(xiàn)虛構(gòu)的自我博弈不足以訓(xùn)練出強(qiáng)大的戰(zhàn)術(shù),于是他們嘗試開發(fā)更優(yōu)的解決方案。
「聯(lián)盟」訓(xùn)練
在最近這期《Nature》雜志中,Deepmind 文章的中心思想是將這種虛構(gòu)的自我博弈擴(kuò)展到一組智能體,即「聯(lián)盟」。通常,在自我博弈中,想在星際爭霸游戲中取得更好成績的玩家可以選擇與朋友合作戰(zhàn)斗,來訓(xùn)練特定的策略,因此他們所面對的競爭對手并不包括這個游戲中所有的玩家,而是幫助他們的朋友暴露問題,使其成為更好更魯棒的玩家。
聯(lián)盟這一概念的核心思想是:僅僅只是為了贏是不夠的。相反,實(shí)驗(yàn)需要主要的智能體能夠打贏所有玩家,而「壓榨(exploiter)」智能體的主要目的是幫助核心智能體暴露問題,從而變得更加強(qiáng)大。這不需要這些智能體去提高它們的勝率。通過使用這樣的訓(xùn)練方法,整個智能體聯(lián)盟在一個端到端的、完全自動化的體系中學(xué)到了星際爭霸 2 中所有的復(fù)雜策略。
圖 1:星際爭霸系列等復(fù)雜游戲域中的一些挑戰(zhàn)。
(前排)玩家可以創(chuàng)建各種「單位」(如工人、戰(zhàn)士或運(yùn)輸者)來部署不同的戰(zhàn)略移動。得益于模仿學(xué)習(xí),DeepMind 的初始智能體可以執(zhí)行多種策略,在這里描述為游戲中創(chuàng)建的單位組成(在此示例中:虛空艦、追蹤者和不朽者)。但是,由于某些策略更易于改進(jìn),因此單純的強(qiáng)化學(xué)習(xí)主要集中于它們。其他策略可能需要更多的學(xué)習(xí)經(jīng)驗(yàn)或者具有一些特殊的細(xì)微差別,使得智能體更加難以完善。這就會造成一個惡性循環(huán),其中一些有效策略的效果越來越差,因?yàn)橹悄荏w放棄了它們而選擇了占主導(dǎo)地位的策略。(底部行)研究者在聯(lián)盟中添加了一些智能體,這些聯(lián)盟的唯一目的是暴露核心智能體的弱點(diǎn)。這意味著需要發(fā)現(xiàn)和開發(fā)更多有效的策略,從而使核心智能體對敵方產(chǎn)生更多的抵抗。在同一時間,研究者采用了模仿學(xué)習(xí)技術(shù)(包括蒸餾法),以防止 Alphastar 完全擺脫訓(xùn)練,并使用隱變量來表征多樣化的開局行動。
在星際爭霸等復(fù)雜的環(huán)境中,探索是另一項(xiàng)關(guān)鍵挑戰(zhàn)。每個智能體在每個時間步中最多可以使用 1026 個可能的動作,并且在了解自己贏得或輸?shù)舯荣愔埃撝悄荏w必須先進(jìn)行數(shù)千次動作。在如此龐大的解決空間(solution space)中,尋找制勝策略是一項(xiàng)挑戰(zhàn)。即使擁有強(qiáng)大的自我博弈系統(tǒng)以及由壓榨智能體組成的多樣化聯(lián)盟,但如果沒有一些先驗(yàn)知識,系統(tǒng)在如此復(fù)雜的環(huán)境中也幾乎不可能制定出成功的策略。
因此,學(xué)習(xí)人類玩家的策略并確保智能體在自我博弈中不斷探索這些策略,這是釋放 AlphaStar 效能的關(guān)鍵。為此,借助于模仿學(xué)習(xí)并結(jié)合了用于語言建模的高級神經(jīng)網(wǎng)絡(luò)架構(gòu)和技術(shù),研究者制定了最初的策略,使游戲結(jié)果優(yōu)于 84%的活躍玩家。此外,研究者還使用了一個隱變量,該變量確定了策略并對人類游戲的開局行動分布進(jìn)行編碼,這有助于保留高級策略。然后,AlphaStar 在整個自我博弈中使用一種蒸餾形式(form of distillation),將探索偏向于人類策略。這種方法使得 AlphaStar 可以在單個神經(jīng)網(wǎng)絡(luò)中(每個族群各一個)表征許多策略。在評估過程中,這種神經(jīng)網(wǎng)絡(luò)不以任何特定的開局行動為條件。
AlphaStar 是一個不同尋常的玩家,其具有最佳玩家的反應(yīng)能力和速度,還有其戰(zhàn)略和風(fēng)格是完全獨(dú)有的。AlphaStar 的訓(xùn)練是通過一組智能體在聯(lián)盟相互競爭,壓榨出所有可能的結(jié)果,使得游戲結(jié)果變得難以想象般的不同尋常。這無疑使人想要思考星際爭霸中有多少可能性是職業(yè)玩家已經(jīng)探索過的。
另外,研究者還發(fā)現(xiàn)許多之前強(qiáng)化學(xué)習(xí)學(xué)到的方法是無效的,因?yàn)檫@些方法的動作空間太大。特別的是,AlphaStar 使用了異步強(qiáng)化學(xué)習(xí)(off-policy reinforcement learning),使其可以高效地更新自己之前的策略。
實(shí)驗(yàn)效果
在測試 AlphaStar 的過程中,DeepMind 的研究者對其進(jìn)行了限制,使其和人類玩家保持一致。特別是在操作速率上,為了避免智能體為了多獲得獎勵而像超人一樣過快點(diǎn)擊從而打敗對手,DeepMind 將其控制在有經(jīng)驗(yàn)的玩家水平上。
基于這些限制,經(jīng)過了 27 天的訓(xùn)練后,DeepMind 與暴雪在戰(zhàn)網(wǎng)天梯中開放了 AlphaStar:玩家只要進(jìn)行申請并通過就可以和這個最強(qiáng) AI 進(jìn)行在線對決了。而且現(xiàn)在,AlphaStar 已經(jīng)可以使用全部三個種族。在開放對戰(zhàn)環(huán)境中,AlphaStar 在歐洲服務(wù)器上排名 top0.5%。
盡管 AlphaStar 已經(jīng)取得了不錯的成績,但是它并沒有完全打敗頂尖水平的人類玩家。此外,仍有一些 AlphaStar 在訓(xùn)練過程中沒有暴露出來的弱點(diǎn),這些都是需要繼續(xù)改進(jìn)的。
今年 9 月,DeepMind 和暴雪放出了 AlphaStar 在天梯上與各路頂級玩家交手的視頻,其中不乏當(dāng)世排名前 10 的職業(yè)選手。
這可能是目前最為高端的「人機(jī)大戰(zhàn)」了:AlphaStar vs Serral。
DeepMind 當(dāng)然也碰上了目前星際爭霸 2 最強(qiáng)的玩家,芬蘭蟲族選手 Serral。在這場 16 分鐘的比賽里,Serral 和 AI 進(jìn)行了正面的硬碰硬戰(zhàn)斗。然而看起來在這種比賽里任何一方出現(xiàn)短板就會造成最終的失利。有評論表示:看起來 Serral 比 AlphaStar 更像是 AI。
軍方可能會感興趣
盡管 DeepMind 表示,他們永遠(yuǎn)都不會讓這項(xiàng)研究卷入軍事領(lǐng)域,而且星際爭霸 2 并不是一個現(xiàn)實(shí)戰(zhàn)爭的模擬,但謝菲爾德大學(xué) AI 和機(jī)器人學(xué)教授 Noel Sharkey 表示,但(DeepMind 的)結(jié)果會引起軍方的注意。今年 3 月份,美國政府發(fā)布的一份報(bào)告描述了 AI 如何豐富戰(zhàn)爭模擬以及幫助戰(zhàn)爭玩家評估不同戰(zhàn)術(shù)的潛在后果。
「軍事分析人士肯定會將 AlphaStar 實(shí)時戰(zhàn)略的成功視為 AI 用于作戰(zhàn)規(guī)劃優(yōu)勢的一個明顯例子。但這是一個極度危險(xiǎn)的想法,可能會帶來人道主義災(zāi)難。AlphaStar 從某個環(huán)境的大數(shù)據(jù)中學(xué)習(xí)戰(zhàn)略,但來自敘利亞、也門等沖突地區(qū)的數(shù)據(jù)太少,無法使用。」Sharkey 表示。
「正如 DeepMind 在最近的一次聯(lián)合國活動中所說的,這種方法對于武器控制來說將是非常危險(xiǎn)的,因?yàn)檫@些舉動無法預(yù)測并且可能以意想不到的方式發(fā)揮作用——這違反了管轄武裝沖突的法律。」
Nature 論文:
https://www.nature.com/articles/s41586-019-1724-z
https://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf
AlphaStar 對戰(zhàn)錄像:
https://deepmind.com/research/open-source/alphastar-resources
參考內(nèi)容:
https://www.nature.com/articles/d41586-019-03298-6?utm_source=twt_nnc&utm_medium=social&utm_campaign=naturenews&sf222555256=1
https://www.deepmind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning