隨著人工智能系統(tǒng)規(guī)模和復(fù)雜性的不斷增長，對高速、高能效連接的需求變得重要。傳統(tǒng)的電氣互連（如銅電纜和可插拔光器件）已達到極限，阻礙了大規(guī)模人工智能系統(tǒng)潛力的充分發(fā)揮。Ayar Labs 及其革命性的光 I/O 技術(shù)將改變?nèi)斯ぶ悄苓B接領(lǐng)域的游戲規(guī)則。
大規(guī)模人工智能系統(tǒng)的連接挑戰(zhàn)大規(guī)模人工智能系統(tǒng)本質(zhì)上就是一個連接問題。這些系統(tǒng)跨越多種規(guī)模，從機架規(guī)模（約 3 米）到多機架規(guī)模（約 15 米）和集群規(guī)模（長達 100 米）。CPU、GPU 和內(nèi)存組件之間需要超高的帶寬和低延遲通信，這對高效的人工智能處理很重要。
Ayar Labs 的重點是 "AI 網(wǎng)絡(luò)"，也稱為擴展 Fabric、計算集群 Fabric、計算 Fabric 或內(nèi)存語義 Fabric。這些網(wǎng)絡(luò)連接數(shù)千到數(shù)萬個 GPU，需要 NVLink、Infinity 和 CXL 等超高帶寬互連。
Ayar Labs 的光 I/O 解決方案是開創(chuàng)性的方法，可解決大規(guī)模人工智能系統(tǒng)所面臨的連接挑戰(zhàn)。它由兩個關(guān)鍵組件組成：SuperNova 多端口、多波長光源和 TeraPHY CMOS 光學(xué) I/O Chiplet。
SuperNova 光源可產(chǎn)生多種波長的光，從而實現(xiàn)高帶寬數(shù)據(jù)傳輸。TeraPHY chiplet 是一種基于 CMOS 的光學(xué) I/O 設(shè)備，可與系統(tǒng)級芯片 （SoC） 封裝上的現(xiàn)有電氣 I/O 接口集成，實現(xiàn)無縫光電數(shù)據(jù)轉(zhuǎn)換。這一創(chuàng)新解決方案可實現(xiàn)socket-to-socket， board-to-board， 以及 rack-to-rack的連接，提供封裝互連中常見的帶寬密度和能效。通過先進的 Chiplet 封裝實現(xiàn)光 I/OAyar Labs 的光 I/O 技術(shù)利用先進的芯片封裝技術(shù)，實現(xiàn)了與現(xiàn)有 CMOS 代工工藝和下游封裝能力的無縫集成。這種兼容性使 TeraPHY 芯片能夠與英特爾、AMD 和 NVIDIA 等行業(yè)領(lǐng)先企業(yè)的尖端 CPU、GPU、FPGA 和 SoC 集成。
可擴展、靈活、可組合的人工智能基礎(chǔ)設(shè)施通過采用 Ayar Labs 的光 I/O 技術(shù)，人工智能系統(tǒng)可實現(xiàn)前所未有的可擴展性、靈活性和可組合性。高帶寬、低延遲的光互連技術(shù)可實現(xiàn) CPU、GPU、交換機和內(nèi)存組件之間的高效數(shù)據(jù)傳輸，從而促進計算擴展和擴展 xPU 內(nèi)存功能。
1.計算擴展： 光 I/O 可實現(xiàn) xPU（CPU、GPU 等）、交換機和其他組件之間的高速連接，從而實現(xiàn)計算資源的高效擴展。
2.擴展 xPU 內(nèi)存： 通過利用光互聯(lián)，人工智能系統(tǒng)可以在多個 xPU 之間無縫訪問和共享內(nèi)存資源，優(yōu)化內(nèi)存利用率，實現(xiàn)更大的人工智能模型。
創(chuàng)新的微環(huán)諧振器技術(shù)Ayar Labs 光 I/O 解決方案的核心是其突破性的微環(huán)諧振器技術(shù)。這些微型光器件比傳統(tǒng)光組件小 1000 倍，卻能進行高速數(shù)據(jù)傳輸。此外，與標準的 300mm CMOS 制造工藝兼容，實現(xiàn)了密集的電子-光子集成。
TeraPHY 芯片利用微環(huán)諧振器，通過波分復(fù)用（WDM）技術(shù)實現(xiàn)了大帶寬擴展。通過為每個端口組合多個波長并增加每個芯片的端口數(shù)量，Ayar Labs 可以為每個芯片提供從 4.096 Tbps 到 32.768 Tbps（Tx+Rx）的驚人帶寬。
TeraPHY 芯片是 Ayar Labs 光 I/O 解決方案的核心，采用高度優(yōu)化的架構(gòu)，每個端口可支持多達 8 個波長，從而實現(xiàn)高帶寬數(shù)據(jù)傳輸和接收。
作為 TeraPHY chiplet 的補充，SuperNova 激光模塊可產(chǎn)生高帶寬光通信所需的多波長光信號。這些激光模塊與 TeraPHY 芯片和其他組件一起集成到多芯片封裝中，實現(xiàn)了分布式計算資源的完全物理分解。Ayar Labs 的光 I/O 技術(shù)已在各種行業(yè)活動和演示中展示了其能力。2023年，在ERI峰會、Hot Chips、白宮演示日和超級計算活動中展示了其光學(xué)FPGA PCIe CEM卡，該卡具有兩個4Tbps（Tx+Rx）光I/O Chiplets。
Ayar Labs 利用行業(yè)標準并與合作伙伴密切合作，為在先進封裝解決方案中采用光 I/O 技術(shù)制定了清晰的多代路線圖。該路線圖概述了從當前基于高級互連總線 （AIB） 和 UCIe 的封裝到未來幾代能夠提供高達 262 Tbps 的off-socket光 I/O 帶寬的發(fā)展過程。
[1]V. Stojanovic, "Optical I/O Technology for the Future of AI," presented at presented at the SEMI Silicon Photonics Seminar, May 2024.
微信公眾號 
bilibili 
微信視頻號