微信公眾號(hào)“科創(chuàng)閔行”消息，北京時(shí)間12月19日，上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）圖像通信與網(wǎng)絡(luò)工程研究所陳一彤課題組在新一代算力芯片領(lǐng)域取得重大突破，首次實(shí)現(xiàn)了支持大規(guī)模語(yǔ)義媒體生成模型的全光計(jì)算芯片，相關(guān)研究以“All-optical synthesis chip for large-scale intelligent semantic vision generation”（大規(guī)模智能語(yǔ)義視覺(jué)生成全光芯片）為題發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊《科學(xué)》（Science）上。上海交通大學(xué)為論文第一作者和通訊作者單位，陳一彤助理教授為第一作者及通訊作者。

隨著深度神經(jīng)網(wǎng)絡(luò)和大規(guī)模生成模型的迅猛演進(jìn)，AI正以前所未有的速度革新世界。然而，規(guī)模爆炸式增長(zhǎng)的生成模型帶來(lái)超高算力和能耗需求，與傳統(tǒng)芯片架構(gòu)的性能增長(zhǎng)速度已出現(xiàn)日益嚴(yán)峻的緊迫缺口。

為突破算力與能耗瓶頸，光計(jì)算等新型架構(gòu)受到廣泛關(guān)注。然而如傳統(tǒng)的全光計(jì)算芯片主要局限于小規(guī)模、分類任務(wù)，光電級(jí)聯(lián)或復(fù)用又會(huì)嚴(yán)重削弱光計(jì)算速度。因此，“如何讓下一代算力光芯片能運(yùn)行復(fù)雜生成模型”成為全球智能計(jì)算領(lǐng)域公認(rèn)的難題。

研究團(tuán)隊(duì)首次提出全光大規(guī)模語(yǔ)義生成芯片LightGen，這也是國(guó)際首次實(shí)現(xiàn)的大規(guī)模全光生成式AI芯片，在單枚芯片上同時(shí)突破了百萬(wàn)級(jí)光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換、無(wú)真值光芯片訓(xùn)練算法的領(lǐng)域公認(rèn)瓶頸。

大規(guī)模全光生成計(jì)算芯片LightGen

論文實(shí)驗(yàn)驗(yàn)證了全光芯片LightGen在高分辨率（≥512×512）圖像語(yǔ)義生成、3D生成（NeRF）、高清視頻生成及語(yǔ)義調(diào)控、去噪、局部及全局特征遷移等多項(xiàng)大規(guī)模生成式任務(wù)。不再讓電輔助光生成，而是讓全光芯片完整實(shí)現(xiàn)輸入圖像、理解語(yǔ)義、語(yǔ)義操控、生成全新媒體數(shù)據(jù)的端到端過(guò)程，即讓光“理解”和“認(rèn)知”語(yǔ)義。

LightGen生成的采樣圖像示例

此外，LightGen采用了極嚴(yán)格的算力評(píng)價(jià)標(biāo)準(zhǔn)，在實(shí)現(xiàn)與電芯片上運(yùn)行的Stable Diffusion、NeRF、Style Injection Diffusion等前沿電子神經(jīng)網(wǎng)絡(luò)相仿生成質(zhì)量的同時(shí)，直接測(cè)量整個(gè)系統(tǒng)端到端的耗時(shí)與耗能降低。實(shí)測(cè)表明，即便采用較滯后性能的輸入設(shè)備，LightGen仍可取得相比頂尖數(shù)字芯片2個(gè)和2個(gè)數(shù)量級(jí)的算力和能效提升。而如果采用前沿設(shè)備使得信號(hào)輸入頻率不是瓶頸的情況下，LightGen理論可實(shí)現(xiàn)算力提升7個(gè)數(shù)量級(jí)、能效提升8個(gè)數(shù)量級(jí)的性能躍升。這不僅直接體現(xiàn)了在不損失性能情況下替換頂尖現(xiàn)有芯片能獲得的巨大算力和能效提升，也印證了解決大規(guī)模集成、全光維度變換、無(wú)真值光場(chǎng)訓(xùn)練等關(guān)鍵難點(diǎn)，全光片上實(shí)現(xiàn)大規(guī)模生成式網(wǎng)絡(luò)的重要意義。

論文同步被《Science》官方選為高光論文重點(diǎn)報(bào)道。論文中提到，生成式AI正加速融入生產(chǎn)生活，要讓“下一代算力芯片”在現(xiàn)代人工智能社會(huì)中真正實(shí)用，勢(shì)在必行的是研發(fā)能夠直接執(zhí)行真實(shí)世界所需任務(wù)的芯片——尤其是大規(guī)模生成模型這類對(duì)端到端時(shí)延與能耗極其敏感的任務(wù)。面向這一目標(biāo)，LightGen為新一代算力芯片真正助力前沿人工智能開(kāi)辟了新路徑，也為探索更高速、更高能效的生成式智能計(jì)算提供了新的研究方向。

陳一彤博士長(zhǎng)期致力于光計(jì)算領(lǐng)域的研究，聚焦新一代算力芯片切實(shí)應(yīng)用時(shí)的核心科學(xué)難點(diǎn)問(wèn)題，團(tuán)隊(duì)所提出的全模擬光電芯片ACCEL（Nature 623 （7985）， 48-57），國(guó)際首次實(shí)測(cè)驗(yàn)證了復(fù)雜智能任務(wù)中光計(jì)算的系統(tǒng)級(jí)算力優(yōu)越性，將光計(jì)算芯片中的超高算力能效，無(wú)損地保留和接入復(fù)雜成熟的數(shù)字社會(huì)中。2023年，所提出的PED （Photonic Encoder Decoder，Science Advances 9（7）， eadf8437）光計(jì)算架構(gòu)，更被Science子刊認(rèn)證為“國(guó)際首個(gè)全光生成網(wǎng)絡(luò)（PED is the first demonstration of all-optical generative neural networks）”?；谏鲜鲅芯炕A(chǔ)，LightGen突破性將全光芯片的適用范圍拓展到了大規(guī)模生成式神經(jīng)網(wǎng)絡(luò)，并已與工業(yè)界合作開(kāi)展應(yīng)用實(shí)踐。

上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）陳一彤助理教授擔(dān)任第一作者及通訊作者，翟廣濤教授、張文軍院士、博士生孫心玥，清華大學(xué)碩士生譚龍濤、博士生姜一洲、博士后周銀等均對(duì)本文做出重要貢獻(xiàn)。該研究得到了多項(xiàng)國(guó)家及上海市項(xiàng)目資助。