2024世界人工智能大會(huì)啟明創(chuàng)投·創(chuàng)業(yè)與投資論壇今天舉行。階躍星辰創(chuàng)始人、CEO 姜大昕博士受邀出席此次論壇，發(fā)表了主題為《攀登AGI的路徑與實(shí)踐：萬(wàn)億參數(shù)和多模融合》的演講，分享了對(duì)于大模型發(fā)展現(xiàn)狀與趨勢(shì)的觀(guān)察與思考。在演講中，姜大昕重點(diǎn)闡述了一個(gè)核心觀(guān)點(diǎn)：探索AGI路徑，“Scaling Law”和“多模態(tài)”是相輔相成、缺一不可的兩個(gè)方向。兩者齊頭并進(jìn)，最終到達(dá)AGI。
Scaling Law仍處于陡峭區(qū)間，萬(wàn)億參數(shù)是基本出發(fā)點(diǎn)
近年來(lái)，GPT系列模型的演進(jìn)，客觀(guān)上驗(yàn)證了Scaling Law的有效性。模型參數(shù)量決定模型能力的上限。從模型效果看，參數(shù)量增大確實(shí)帶來(lái)了性能上的飛躍。雖然業(yè)內(nèi)圍繞“Scaling Law還能走多遠(yuǎn)”尚未形成共識(shí)，但階躍星辰認(rèn)為，參數(shù)量接下來(lái)再提高一個(gè)數(shù)量級(jí)是依然成立的。Scaling Law 目前依然奏效，模型性能仍然在隨著參數(shù)量、數(shù)據(jù)量和計(jì)算量的增加呈冪次方增長(zhǎng)。在此發(fā)展過(guò)程中，萬(wàn)億參數(shù)量已經(jīng)成為一個(gè)基本的入門(mén)門(mén)檻。
正是基于這樣的認(rèn)知，階躍星辰很早便啟動(dòng)了萬(wàn)億參數(shù)模型的訓(xùn)練。從千億到萬(wàn)億，模型的參數(shù)規(guī)模提升了一個(gè)量級(jí)，難度也提升了十倍以上。為此，階躍星辰加大資源投入，尤其在系統(tǒng)和算法上積極探索，最終走通了萬(wàn)億參數(shù) MoE 大模型訓(xùn)練的道路。在 WAIC 2024 上，階躍星辰發(fā)布了全新的 Step-2 萬(wàn)億參數(shù)語(yǔ)言大模型正式版。根據(jù)從邏輯推理、世界知識(shí)、數(shù)學(xué)和編程等多個(gè)維度進(jìn)行的權(quán)威測(cè)試，Step-2 模型能力都已全面接近國(guó)際主流模型，在部分測(cè)試集甚至實(shí)現(xiàn)了超越。
多模態(tài)是構(gòu)建世界模型的基礎(chǔ)能力，將走向理解與生成的統(tǒng)一
在不斷攀登Scaling Law的同時(shí)，階躍星辰也強(qiáng)調(diào)，多模態(tài)是構(gòu)建世界模型的基礎(chǔ)能力，是通向AGI的必經(jīng)之路。從算法角度看，世界模型的演進(jìn)會(huì)分為三個(gè)階段：
第一階段是模擬物理世界;
第二階段是通過(guò)具身智能和物理世界交互，主動(dòng)探索物理世界;
第三階段是通過(guò)發(fā)展系統(tǒng)能力，發(fā)現(xiàn)新的物理規(guī)律，歸納物理世界。
從模擬世界，到探索世界，再到歸納世界，多模態(tài)是貫穿這三個(gè)階段的基本能力。目前，全球科技巨頭正在積極探索并布局多模融合的路徑，多模態(tài)大模型研發(fā)的腳步正越走越快。然而，多模態(tài)領(lǐng)域目前存在的問(wèn)題是，視覺(jué)的理解模型和生成模型是分開(kāi)發(fā)展的。其造成的結(jié)果就是理解模型的理解能力強(qiáng)而生成能力弱，或者生成模型的生成能力強(qiáng)而理解能力弱。因此，多模態(tài)大模型接下來(lái)面臨的一項(xiàng)關(guān)鍵挑戰(zhàn)，就是能否將理解和生成統(tǒng)一在一個(gè)模型里。
目前，階躍星辰正在朝著這個(gè)方向努力，并取得了一些階段性的進(jìn)展。在 WAIC 2024上，新升級(jí)的Step-1.5V千億參數(shù)多模態(tài)大模型性能大幅提升，具備更出色的視頻理解能力;新發(fā)布的Step-1X圖像生成大模型，則是階躍星辰首次推出多模態(tài)生成大模型。
在演講的最后，姜大昕總結(jié)到，從千億參數(shù)到萬(wàn)億參數(shù)，從文本到多模，從多模理解到多模生成，標(biāo)志著階躍星辰在短時(shí)間內(nèi)連續(xù)攀登上大模型的多個(gè)臺(tái)階，打造了行業(yè)領(lǐng)先的通用大模型矩陣。未來(lái)，基于強(qiáng)大的模型能力，階躍星辰期待與眾多領(lǐng)域的行業(yè)頭部企業(yè)深度合作，共同探索積累大模型場(chǎng)景落地的經(jīng)驗(yàn)，并為合作伙伴提供更多的價(jià)值。
