導讀：IT之家 11 月 28 日消息，月之暗面 Kimi 和清華大學 MADSys 實驗室 2024 年 6 月聯(lián)合發(fā)布了 Kimi 底層的 Mooncake 推理系統(tǒng)設計方案。該系統(tǒng)基于以 KVCache 為中心的 PD 分離和以存換算架構(gòu)，提升了推理吞吐量。近日，為了進一步加速該技術框架的應用與推廣，月之暗面 Kimi 和清華大學 MADSys 實驗室聯(lián)合 9#AISoft、阿里云、華為存儲、面壁智能、趨境科技等共同發(fā)布開源項目 Mo ......
IT之家 11 月 28 日消息，月之暗面 Kimi 和清華大學 MADSys 實驗室 2024 年 6 月聯(lián)合發(fā)布了 Kimi 底層的 Mooncake 推理系統(tǒng)設計方案。該系統(tǒng)基于以 KVCache 為中心的 PD 分離和以存換算架構(gòu)，提升了推理吞吐量。
近日，為了進一步加速該技術框架的應用與推廣，月之暗面 Kimi 和清華大學 MADSys 實驗室聯(lián)合 9#AISoft、阿里云、華為存儲、面壁智能、趨境科技等共同發(fā)布開源項目 Mooncake，共建以 KVCache 為中心的大模型推理架構(gòu)。
11 月 28 日，Mooncake 技術框架已開源上線，IT之家附地址如下：
據(jù)介紹，Mooncake 開源項目從論文延伸，以超大規(guī)模 KVCache 緩存池為中心，通過以存換算的創(chuàng)新理念大幅度減少算力開銷，提升了推理吞吐量。
本次開源將采用分階段的方式，逐步開源高性能 KVCache 多級緩存 Mooncake Store 的實現(xiàn)，同時針對各類推理引擎和底層存儲 / 傳輸資源進行兼容。其中傳輸引擎 Transfer Engine 部分現(xiàn)在已經(jīng)在 GitHub 全球開源。
Mooncake 開源項目的最終目標是，為大模型時代打造一種新型高性能內(nèi)存語義存儲的標準接口，并提供參考實現(xiàn)方案。
Mooncake 推理系統(tǒng)架構(gòu)圖
