在過去幾年，Transformer 架構主導了生成式人工智能的發(fā)展，并推動了 ChatGPT 等大型語言模型的成功。然而，隨著模型規(guī)模的不斷擴張，這一技術逐漸暴露出難以忽視的瓶頸：對海量計算資源和數據的依賴使其訓練和推理成本愈發(fā)高昂，同時在長序列建模、實時性需求以及設備部署的靈活性方面也存在顯著不足。
這些限制促使學術界和產業(yè)界開始尋求其他技術路徑，以突破這些困境。而一家來自 MIT 的初創(chuàng)企業(yè) Liquid AI 就提出了一種全新的液體基礎模型（Liquid Foundation Model, LFM），通過其創(chuàng)新性的架構設計，提供了一種更高效、更輕量化的生成式 AI 解決方案。
（來源：Liquid AI）
近日，該公司宣布完成 2.5 億美元 A 輪融資，由芯片巨頭 AMD 領投。據彭博社報道，此輪融資后 Liquid AI 估值已超過 20 億美元。
Liquid AI 的液體基礎模型借鑒了線蟲（Caenorhabditis elegans）神經系統的特點。線蟲的神經元數量僅為 302 個，卻能夠完成復雜的感知和行為任務，其神經連接模式和動態(tài)特性成為 Liquid AI 設計新型 AI 模型的靈感來源。這一模型核心采用“液體神經網絡”（Liquid Neural Network）的架構，利用動態(tài)權重更新機制和基于非線性微分方程的連續(xù)時間建模，突破了傳統 Transformer 架構的局限性。
液體基礎模型在設計上的一大創(chuàng)新是其動態(tài)權重更新機制。在傳統 Transformer 中，權重在訓練完成后保持固定，模型對數據變化的適應性有限。而 LFM 則能夠根據輸入數據實時調整網絡參數，從而在處理復雜、多變的數據環(huán)境時表現更加靈活。
此外，LFM 采用了基于非線性微分方程的神經建模方法，通過模擬神經元的連續(xù)時間動態(tài)行為，使模型不僅能夠捕捉短期特征，還可以在長序列建模中展現卓越的性能。這種動態(tài)建模的特點，使得 LFM 在長時間尺度依賴的任務中表現優(yōu)異，而 Transformer 架構則往往由于自注意力機制的高計算復雜度而受限。
實驗結果顯示，Liquid AI 首次發(fā)布的三種不同規(guī)模和用途的模型在多個基準測試上都表現出色。例如，經過微調的 LFM-1B 模型在多個自然語言處理任務中超越了傳統的同等規(guī)模模型，成為該參數規(guī)模的新標桿。同時，與更大規(guī)模的模型相比，LFMs 在推理效率和存儲需求上具有較大優(yōu)勢，這為其在低資源場景下的廣泛部署提供了可能。
（來源：Liquid AI）
為了進一步提升液體基礎模型的性能和適用性，Liquid AI 還開發(fā)了一套名為定制架構合成”（Synthesis of Tailored Architectures via Targeted Evolution, STAR）的優(yōu)化框架。STAR 通過模擬自然選擇的過程，對液體基礎模型的神經網絡架構進行自動化優(yōu)化。
這一框架以進化算法為核心，生成多個候選模型，并基于特定任務的目標函數對其性能進行評估。表現優(yōu)異的模型被“選中”，其架構特征（例如神經元連接模式和層次結構）被用來生成下一代候選模型。經過多輪迭代，STAR 能夠自動生成滿足任務需求的最優(yōu)架構，從而提升了模型的適配性和效率。
（來源：Liquid AI）
STAR 不僅充分利用了液體基礎模型的動態(tài)權重更新和非線性建模特性，還針對不同任務的特定需求進行了精細化優(yōu)化。例如，對于需要處理長序列依賴的任務，STAR 通過調整網絡深度和神經元之間的動態(tài)連接模式，生成更適合該任務的架構。這種高度針對性的優(yōu)化方式，使得液體基礎模型在長時間序列建模中不僅減少了內存占用和推理時間，還實現了卓越的性能。
實驗數據顯示，STAR 方法自動合成的模型架構，其性能始終優(yōu)于高度優(yōu)化的 Transformer++ 和混合模型。
例如，在優(yōu)化質量和緩存大小時，STAR 演化架構與混合模型相比實現了高達 37% 的緩存大小減少，與 Transformers 相比則減少了 90%。盡管效率有所提高，但 STAR 生成的模型仍保持甚至超過了同類模型的預測性能。
類似地，在優(yōu)化模型質量和大小時，STAR 將參數數量減少了多達 13%，同時仍仍提高了標準基準測試的性能。
（來源：Liquid AI）
這種自動生成針對特定需求優(yōu)化的定制架構的方法，對于滿足對高效且高質量的模型的需求意義重大，有助于推動生成式 AI 在各種實際場景中的部署和應用。
Liquid AI 的技術已經被用于基因數據分析、金融欺詐檢測以及自動駕駛等領域，同時也為消費電子和邊緣計算提供了解決方案。其靈活性和輕量化特性正引起產業(yè)界的關注，Shopify 的首席技術官 Mikhail Parakhin 在社交媒體上表示：“Liquid AI 在非 Transformer 架構的嘗試中堪稱領跑者�！�
此次 Liquid AI 獲得由 AMD 領投的 2.5 億美元融資，將進一步推動其技術研發(fā)和市場化進程。據 Liquid AI 聯合創(chuàng)始人兼首席執(zhí)行官 Ramin Hasani 透露，這筆資金將被用于擴大技術團隊規(guī)模，并加速模型的行業(yè)落地。AMD 高級副總裁 Mathew Hein 稱：“我們只是從根本上相信，人工智能領域仍有大量創(chuàng)新在繼續(xù)，并推動模型向前發(fā)展。”
參考資料：
1.https://www.liquid.ai/liquid-foundation-models
2.https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution
3.https://www.bloomberg.com/news/articles/2024-12-13/liquid-ai-raising-250-million-to-build-ai-inspired-by-worm-brains
4.https://venturebeat.com/ai/liquid-ais-new-star-model-architecture-outshines-transformer-efficiency/
