日前，上海人工智能實驗室宣布，開源基于“通專融合”技術(shù)架構(gòu)SAGE打造的萬億參數(shù)科學(xué)多模態(tài)大模型Intern（書生）-S1-Pro，為AI for Science（科學(xué)智能）從“工具革命”的1.0階段邁向以“革命的工具”驅(qū)動科學(xué)發(fā)現(xiàn)的2.0時代，提供了系統(tǒng)性開源基座。
上海人工智能實驗室主任、首席科學(xué)家周伯文提出，可深度專業(yè)化通用模型是實現(xiàn)通用人工智能（AGI）的可行路徑，其關(guān)鍵挑戰(zhàn)在于：專家化模型在訓(xùn)練過程中需要低成本、能規(guī)?；拿芗答?；能夠持續(xù)不斷地學(xué)習(xí)與主動探索，并具備為同一個問題提供多視角、多種解決方案的能力；并能引入對物理世界規(guī)律的考量，兼顧多項差異化能力的學(xué)習(xí)效率與性能。
作為全球開源社區(qū)中參數(shù)規(guī)模最大的科學(xué)多模態(tài)模型之一，Intern-S1-Pro的性能表現(xiàn)穩(wěn)居全球第一梯隊。其通過多項SAGE基礎(chǔ)模型層的技術(shù)創(chuàng)新，拓寬了模型應(yīng)用邊界、提升了超大規(guī)模訓(xùn)練可行性，推進了可深度專業(yè)化通用模型的探索。
為構(gòu)建能更深層次理解物理世界規(guī)律的科學(xué)大模型，研究團隊引入了傅里葉位置編碼（FoPE）并重構(gòu)了時序編碼器。FoPE為AI賦予了雙重視角：既能像看“粒子”一樣捕捉文字之間的相對距離，又能像分析“波”一樣把握科學(xué)信號的整體規(guī)律與頻率?？茖W(xué)數(shù)據(jù)與語言的差異還體現(xiàn)在多尺度上，基于能自動適應(yīng)數(shù)據(jù)密度的時序編碼器，模型首次能統(tǒng)一處理從寥寥數(shù)個到百萬級采樣的各類信號，支持的分析對象從天文、地理直接拓展至生理信號、生物聲學(xué)等領(lǐng)域，從而實現(xiàn)感知能力的重大躍遷。
為了高效訓(xùn)練承載這些能力的萬億參數(shù)超大規(guī)模模型，研究團隊革新了其內(nèi)部的“路由機制”。傳統(tǒng)方法存在訓(xùn)練低效和算力浪費兩大痛點。新技術(shù)通過“路由稠密估計”，讓模型在高效運行的同時能進行更充分的學(xué)習(xí)，提升了穩(wěn)定性；進而通過“分組路由”策略，像智能交通系統(tǒng)一樣使海量計算芯片實現(xiàn)負(fù)載均衡，避免了資源閑置。
通過算法與系統(tǒng)的協(xié)同創(chuàng)新，Intern-S1-Pro同時攻克了超大規(guī)模模型訓(xùn)練在“學(xué)習(xí)效率”和“資源調(diào)度”上的核心瓶頸，為高效、穩(wěn)健地訓(xùn)練下一代萬億參數(shù)模型提供了關(guān)鍵基礎(chǔ)。通過上述底層架構(gòu)的創(chuàng)新，Intern-S1-Pro不僅在規(guī)模上刷新了科學(xué)多模態(tài)模型的參數(shù)規(guī)模上限，也為SAGE架構(gòu)所提出的“通用能力與專業(yè)能力協(xié)同演進”提供了可落地的實現(xiàn)路徑。
值得一提的是，Intern-S1-Pro驗證了從原創(chuàng)模型架構(gòu)到國產(chǎn)算力基座自主技術(shù)的完整鏈路。模型從架構(gòu)設(shè)計之初，就與昇騰計算生態(tài)確立了聯(lián)合研發(fā)路線，實現(xiàn)了從最底層的算子、編譯優(yōu)化到上層的訓(xùn)練、推理框架的深度全棧適配。此外，Intern-S1-Pro還與沐曦聯(lián)合研發(fā)利用模型加速算子適配，為開放共享、面向未來的科學(xué)智能基礎(chǔ)設(shè)施奠定了堅實基礎(chǔ)。
