原標題:“太極-Ⅱ”光芯片首次實現(xiàn)大規(guī)模光訓練
記者7日從清華大學獲悉,該校電子系方璐教授課題組與自動化系戴瓊海教授課題組在智能光芯片領域取得重大進展。他們首創(chuàng)全前向智能光計算訓練架構,研制出“太極-Ⅱ”光芯片,實現(xiàn)了大規(guī)模神經(jīng)網(wǎng)絡的原位光訓練,為人工智能(AI)大模型探索了光訓練的新路徑。相關成果在線發(fā)表于最新一期國際學術期刊《自然》。
AI大模型的迅猛發(fā)展和廣泛應用,使算力成為關鍵的戰(zhàn)略資源。智能光計算憑借高算力、低能耗的優(yōu)勢,在后摩爾時代展現(xiàn)出巨大潛力。訓練和推理,是AI大模型核心能力的兩大基石。此前,智能光芯片“太極”的問世,為大規(guī)模復雜任務的“推理”帶來了曙光,但未能釋放光計算的“訓練之能”?,F(xiàn)有光神經(jīng)網(wǎng)絡的訓練嚴重依賴GPU離線建模,并要求高度匹配的前向-反向傳播模型。這對光計算系統(tǒng)的精準對齊提出苛刻要求,致使梯度計算難、訓練規(guī)模小,禁錮了光計算的優(yōu)勢。
“與現(xiàn)有訓練范式不同,我們摒棄了反向傳播,另辟蹊徑,構建了光神經(jīng)網(wǎng)絡的對稱傳播模型,僅用光學系統(tǒng)的前向傳播即可實現(xiàn)高效高精度光訓練?!狈借锤嬖V科技日報記者。
據(jù)介紹,“太極-Ⅱ”的面世,填補了智能光計算在大規(guī)模神經(jīng)網(wǎng)絡訓練這一核心領域的空白。除了加速AI模型訓練外,其還在高性能智能成像、高效解析拓撲光子系統(tǒng)等方面表現(xiàn)出卓越性能,為人工智能大模型、通用人工智能、復雜智能系統(tǒng)的高效精準訓練開辟了新路徑。
(記者華凌)