展會信息港展會大全

IBM全新光學(xué)技術(shù)可縮短GPU閑置時間,大幅加快AI模型訓(xùn)練速度
來源:互聯(lián)網(wǎng)   發(fā)布日期:2024-12-11 13:03:05   瀏覽:252次  

導(dǎo)讀:IT之家 12 月 11 日消息,IBM 宣布開發(fā)出一種新的光學(xué)技術(shù),能夠以光速訓(xùn)練 AI 模型,同時大幅節(jié)省能源。該公司表示,通過將這項突破應(yīng)用于數(shù)據(jù)中心,訓(xùn)練一個 AI 模型所節(jié)省的能源相當(dāng)于 5000 個美國家庭一年的能源消耗。該公司解釋說,雖然數(shù)據(jù)中心通過光纖電纜與外部世界連接,但內(nèi)部仍然使用銅線。這些銅線連接著 GPU 加速器,而 GPU 加速器在等待來自其他設(shè)備的數(shù)據(jù)時會有 ......

IT之家 12 月 11 日消息,IBM 宣布開發(fā)出一種新的光學(xué)技術(shù),能夠以光速訓(xùn)練 AI 模型,同時大幅節(jié)省能源。該公司表示,通過將這項突破應(yīng)用于數(shù)據(jù)中心,訓(xùn)練一個 AI 模型所節(jié)省的能源相當(dāng)于 5000 個美國家庭一年的能源消耗。

IBM全新光學(xué)技術(shù)可縮短GPU閑置時間,大幅加快AI模型訓(xùn)練速度

該公司解釋說,雖然數(shù)據(jù)中心通過光纖電纜與外部世界連接,但內(nèi)部仍然使用銅線。這些銅線連接著 GPU 加速器,而 GPU 加速器在等待來自其他設(shè)備的數(shù)據(jù)時會有大量時間處于空閑狀態(tài),同時消耗能量并推高成本。

IBM 高級副總裁兼研究總監(jiān) Dario Gil 稱:“隨著生成式 AI 對更多能源和處理能力的需求,數(shù)據(jù)中心必須進(jìn)化,而共封裝光學(xué)技術(shù)(CPO)可以使這些數(shù)據(jù)中心面向未來。通過這一突破,未來的芯片將像光纖電纜進(jìn)出數(shù)據(jù)中心傳輸數(shù)據(jù)一樣進(jìn)行通信,從而開啟一個更快、更可持續(xù)的通信新時代,能夠處理未來的 AI 工作負(fù)載。”

IT之家注意到,IBM 在一篇技術(shù)論文中概述了其新的 CPO 原型。通過顯著增加數(shù)據(jù)中心的帶寬,可以最大限度地減少 GPU 的閑置時間,從而加速 AI 處理。IBM 稱,大型語言模型(LLM)的訓(xùn)練時間可以從三個月縮短到三周。同時,更高的能源效率將降低能源消耗,并減少與訓(xùn)練 LLM 相關(guān)的成本。

贊助本站

相關(guān)熱詞: IBM ai模型 gpu cpo 光學(xué)

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2025 AiLab Team. 人工智能實驗室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會 | 展會港