AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
近幾年在生成式 AI 技術(shù)和商業(yè)創(chuàng)新飛速發(fā)展的背景下，創(chuàng)建高質(zhì)量且低成本的生成式 AI 應(yīng)用在業(yè)界仍有相當(dāng)難度，主要原因在于缺乏系統(tǒng)化的調(diào)試和優(yōu)化方法。
近日，UCSD 張怡穎教授的 GenseeAI 團(tuán)隊推出了首款可自動提升 AI 工作流生成質(zhì)量并降低生成成本的工具 Cognify。Cognify 可以自動優(yōu)化 AI 工作流，支持 LangChain、DSPy、Python 等語言框架。Cognify 的核心思路是一種創(chuàng)新的分層工作流級優(yōu)化方法。Cognify 可將生成式 AI 應(yīng)用的生成質(zhì)量提高多達(dá) 48%，并將執(zhí)行成本降低多達(dá) 90%。Cognify 現(xiàn)已開源。
開源地址：https://github.com/GenseeAI/cognify生成式 AI 工作流當(dāng)前的生成式 AI 產(chǎn)品通常都是以生成式 AI 工作流的形式構(gòu)建和部署。AI 工作流內(nèi)部可以調(diào)用各類 AI 模型、工具、數(shù)據(jù)源及其他類型的系統(tǒng)。典型的 AI 工作流包括 Agent 工作流和 LLM+RAG 等。與單次調(diào)用 AI 模型相比，AI 工作流提供了更強(qiáng)大、可定制和集成化的解決方案。當(dāng)前業(yè)界的 AI 工作流通常由工程師編寫。在部署之前，工程師需要手動調(diào)整 AI 工作流的結(jié)構(gòu)和提示詞（prompt），并為工作流中的各個步驟選擇合適的模型。然而，由于缺乏系統(tǒng)化的調(diào)優(yōu)方法，AI 工作流的部署經(jīng)常非常耗時，已部署的工作流也可能面臨質(zhì)量不佳、不穩(wěn)定或成本太高等問題。雖然有許多生成式 AI 工作流的開發(fā)框架，比如 Coze，Dify，LangChain，DSPy 和 Claude MCP，但是并沒有可以幫助開發(fā)者系統(tǒng)調(diào)試和優(yōu)化工具。Cognify 優(yōu)化器Cognify 是一款全面、多目標(biāo)的開源 AI 工作流優(yōu)化器。Cognify 的優(yōu)化過程基于自動選擇 AI 模型、改進(jìn)工作流結(jié)構(gòu)和增強(qiáng)提示詞。Cognify 實(shí)現(xiàn)了工作流的多目標(biāo)優(yōu)化，包括提高生成質(zhì)量和低生成成本。對于不同的應(yīng)用場景，Cognify 都用相同或更小的模型達(dá)到了更高的生成質(zhì)量，推動了質(zhì)量 - 成本 Pareto 邊界，并且允許用戶選擇不同的質(zhì)量 - 成本組合（結(jié)果如下圖所示）。在此過程中，Cognify 的優(yōu)化實(shí)現(xiàn)了「一鍵」全自動化。同時，Cognify 也允許用戶自定義優(yōu)化方法 Cogs（Cognify 把各種優(yōu)化統(tǒng)稱 Cog），備選模型種類，以及最多優(yōu)化次數(shù)。Cognify 目前支持 LangChain、LangGraph、DSPy 和基于 Python 開發(fā)的工作流。
Cognify 核心技術(shù)全局級別的工作流超參數(shù)調(diào)優(yōu)Cognify 的核心理念是對整個工作流進(jìn)行優(yōu)化，而不是在每個單獨(dú)的工作流組件中進(jìn)行優(yōu)化。由于上游組件的生成結(jié)果對下游組件的性能有重大影響，孤立的優(yōu)化各個組件可能導(dǎo)致最終生成質(zhì)量不佳，而且整體運(yùn)行成本增加。Cognify 通過實(shí)驗(yàn)各種 Cog 組合，并通過最終生成的質(zhì)量評估這些組合的效果，從而優(yōu)化整個工作流。
在整體工作流優(yōu)化中，一個關(guān)鍵挑戰(zhàn)是優(yōu)化成本，包括模型運(yùn)行成本和耗時。一個簡單的做法是對每個可能的 cog 組合進(jìn)行網(wǎng)格搜索，但這會導(dǎo)致指數(shù)級增長的優(yōu)化成本。為了解決這個問題，Cognify 采用了兩種策略。首先，Cognify 將工作流視為一個優(yōu)化對象，并將所有可能的 Cog 視為其超參數(shù) (hyperparameter)。Cognify 為工作流超參數(shù)設(shè)計了一套新的貝葉斯優(yōu)化器（Bayesian Optimizer），用于調(diào)優(yōu)這些工作流超參數(shù)。特制的優(yōu)化器能夠有效探索 cog 組合空間。其次，Cognify 將 cog 分為兩層：外循環(huán)包含更改工作流結(jié)構(gòu)的 cog（例如添加或移除組件或重新排列它們的順序），內(nèi)循環(huán)包含不影響工作流結(jié)構(gòu)的 cog（例如提示詞調(diào)優(yōu)和模型選擇）。這種雙層方法減少了貝葉斯優(yōu)化器需要探索的整體搜索空間。
CogHub：AI 工作流優(yōu)化器集合與 Cognify 同時推出的是 CogHub一個開源 cog 集合。就像 HuggingFace 集合了開源的模型，CogHub 集合了開源的 AI 工作流優(yōu)化方法。CogHub 在被 Cognify 內(nèi)部調(diào)用的同時也面向程序員或未來的生成式 AI 工具。CogHub 現(xiàn)支持以下五種 cogs：
任務(wù)分解 (Task Decomposition)（外循環(huán)）：將一個任務(wù)（一次 LLM 調(diào)用）分解為多個細(xì)分的子任務(wù)（多次 LLM 調(diào)用）。
任務(wù)集成 (Task Ensemble)（外循環(huán)）：構(gòu)建并結(jié)合多個模塊來完成任務(wù)。
多步推理 (Multi-step Reasoning)（內(nèi)循環(huán)）：要求 LLM 逐步推理。
少樣本學(xué)習(xí) (Few-shot Learning)（內(nèi)循環(huán)）：從輸入樣本中添加一些高質(zhì)量的示例演示。
模型選擇 (Model SelectioN)（內(nèi)循環(huán)）：評估不同的模型。
優(yōu)化案例以下是一個數(shù)據(jù)可視化任務(wù)的例子。任務(wù)目標(biāo)是由手機(jī)銷售數(shù)據(jù)生成針對每個廠商每個季度的銷量的箱型圖，并計算每個手機(jī)商的銷售平均值，最終用平均值線表示。下圖展示了幾個生成圖的對比， 1) 人工畫的基準(zhǔn)圖，2) 直接詢問 OpenAI o1，3) 直接運(yùn)行 MatPlotAgent 工作流，4) DSPy 優(yōu)化過的工作流，以及 5) 由 Cognify 優(yōu)化過的工作流。Cognify 優(yōu)化過的工作流返回的結(jié)果幾乎與基準(zhǔn)圖吻合，質(zhì)量顯著優(yōu)于其他方案。與此同時，Cognify 優(yōu)化過的工作流的運(yùn)行成本僅有 o1-preview 的 4%。
圖 A：人工畫的基準(zhǔn)
圖 B：GPT o1-preview 的生成圖
圖 C：原生成式 AI 工作流的生成圖
圖 D：DSPy 優(yōu)化過的生成式 AI 工作流生成圖
圖 E：Cognify 優(yōu)化過的生成式 AI 工作流生成圖
GenseeAI 簡介GenseeAI（gensee.ai）是由 UCSD 張怡穎教授帶領(lǐng)的初創(chuàng)公司。GenseeAI 致力于生成式 AI 工作流優(yōu)化、部署、推理和基礎(chǔ)平臺創(chuàng)建，目前已在多家世界 500 強(qiáng)公司推廣初期產(chǎn)品。張怡穎教授師從圖領(lǐng)獎得主 David Patterson 學(xué)門，是計算機(jī)系統(tǒng)領(lǐng)域的國際頂尖專家，獲得業(yè)界和學(xué)術(shù)界多項(xiàng)大獎和廣泛認(rèn)可。GenseeAI 的其他核心團(tuán)隊來自于美國谷歌和 Snap 等高科技公司，具有開發(fā)和運(yùn)營日活躍用戶上億級別的 AI 產(chǎn)品的經(jīng)驗(yàn)。
