智能體的「一方有難八方支援」，一種分布式AI計算新范式誕生了

但這些探索可能還不夠，主要在以下三個方面存在局限：
首先，最優(yōu) agent 架構尚未確定。以 ReAct 為例，它向 agent 提示預定義的樣本，LLM 學會通過上下文學習生成下一步動作。此外，ReAct 認為一個 agent 在動作執(zhí)行之前應有中間推理步驟。
其次，現(xiàn)有 LAA 中 LLM 能否發(fā)揮多大功效，目前并沒有全面的了解。現(xiàn)在的初步工作只比較了一些 LLM 骨干的性能，比如 ReAct 將 PaLM 作為骨干 LLM，ReWOO 則將 OpenAI 的 text-davinci-003 模型作為 agent 規(guī)劃的指令調(diào)優(yōu) Alpaca 模型。同時目前很少有工作全面比較使用不同預訓練 LLM 的 LAA 性能。最近雖有一些工作發(fā)布了評估 LLM 作為 agent 的基準，但未能共同考慮 agent 架構和它們的 LLM 骨干。
最后，越來越復雜的任務可能需要多個 agent 共同發(fā)揮作用。比如 ReWOO 最近發(fā)現(xiàn)將推理從觀察中解耦出來可以提升 LAA 的效率。
在今天介紹的這篇論文中，來自 Salesforce Research 的研究者認為，隨著任務復雜度的增加，特別是在開放域環(huán)境中，協(xié)調(diào)多個 agent 來完成一項任務會更好。舉例而言， 對于網(wǎng)頁導航任務，我們可以使用一個點擊 agent 來與點擊按鈕進行交互，并請求另一個搜索智能體來檢索其他資源。

論文鏈接：https://arxiv.org/pdf/2308.05960.pdf
研究者建議全面比較 LAA 的性能，并深入探索了 LAA 的 agent 架構和 LLM 骨干。具體地講，他們基于現(xiàn)有環(huán)境構建了 agent 基準，從而評估建構在不同 LLM 骨干之上的不同 agent 架構的性能。該 agent 基準中的任務還劃分了不同的復雜程度，使得 agent 性能與任務復雜度的關聯(lián)分析成為可能。
此外，這些 agent 架構在設計上旨在廣泛驗證現(xiàn)有的設計選擇。關于多個 LAA 的編排，研究者提出了一種新穎的架構 BOLAA，它在多個協(xié)作 agent 之上有一個控制器模塊，用于多個分工 LAA 的選擇和通信。
本文的貢獻主要體現(xiàn)在以下幾個方面：

• 開發(fā)了 6 種不同的 LAA agent 架構，并將這些架構與不同骨干 LLM 結合，從而在提示、自我思考和規(guī)劃中驗證 LAA 的設計直覺。同時開發(fā)了用于編排多 agent 策略的架構 BOLAA，增加了單體 agent 的動作交互能力；
• 在決策制定網(wǎng)頁導航環(huán)境和知識推理任務環(huán)境中進行廣泛實驗，報告了最終稀疏獎勵和中間召回方面的性能，這為 LAA 及其兼容的 LLM 的最優(yōu)選擇提供了定性指示；
• 結果顯示，與其他 LAA 架構相比，BOLAA 在 WebShop 環(huán)境中始終取得了最佳性能。這些表明了在解決復雜任務時多個專業(yè) agent 的協(xié)作至關重要，可以說應該與訓練具有強泛化能力的大型 LLM 同等重要。

愛丁堡大學博士生符堯認為，這項工作揭示了一種新的分布式計算范式：分布式 AI 計算。在傳統(tǒng)分布式計算中，每個節(jié)點處理部分任務；同樣在分布式 AI 計算中，一個 agent 就變成了處理部分任務的節(jié)點。

Agent 架構
在這部分，研究者比較了不同的 LAA 架構。他們首先展示了如何基于現(xiàn)有工作的直覺來設計不同的單體 LAA，然后展示了多個 LAA 的編碼設計，即 BOLAA。
每種類型的 LAA 都能夠通過自己的交互策略與環(huán)境交互。常見的 agent 類型包括：

• Zeroshot LAA
• ZeroshotThink LAA
• ReAct LAA
• PlanAct LAA
• PlanReAct LAA

BOLAA：協(xié)調(diào)多個 agent
盡管現(xiàn)有的 LLM 在完成各種語言理解任務方面取得了成功，但仍有許多問題尚未得到充分探討，如上下文長度限制、上下文內(nèi)學習和泛化能力等。因此，采用單體 LAA 來完成所有任務具有挑戰(zhàn)性，尤其是在任務復雜度較高的情況下。研究者因此提出了一種新的 agent 架構，用于協(xié)調(diào)多個 LAA。

如圖 3 所示，BOLAA 有兩個主要模塊，即分工 agent 池和控制器。
分工 agent 池管理多個 LAA，每個 LAA 可能只專注于生成一種類型的執(zhí)行。例如在網(wǎng)絡導航環(huán)境中，可以建立點擊 LAA 和搜索 LAA。這樣，前者只生成下一個點擊按鈕，而后者只輸出搜索查詢，從而將復雜的任務劃分為可行的任務?？刂破鞯脑O計目的是從 agent 池中有選擇地調(diào)用 LAA。
控制器有一個 agent 選擇層，用于選擇最相關的 LAA 進行調(diào)用。然后，控制器為選定的 LAA 構建信息并建立通信。從分工 LAA 獲得響應后，控制器將其解析為可執(zhí)行的操作，然后與環(huán)境交互。
請注意，也可以將這些分工 LAA 設計為思考 / 計劃 agent。這樣，自我思考和規(guī)劃工作流也會被保留下來。
實驗結果
研究者從兩個環(huán)境中構建了評估基準，WebShop 和 HotPotQA 以及維基百科 API 的用例。
關于評估指標，研究者使用每個環(huán)境中的獎勵得分來評估 LAA 性能。在 WebShop 環(huán)境中，獎勵被定義為購買商品與 ground-truth 商品之間的屬性重疊率。在 HotPotQA 環(huán)境中，獎勵被定義為 agent 答案與 ground-truth 答案之間的 F1 分數(shù)分級。
此外，研究者為 WebShop 環(huán)境開發(fā)了召回性能，如果在一個任務會話中檢索到 ground-truth 項目，召回性能定義為 1；如果沒有檢索到地面實況項目，召回性能定義為 0。召回率以 WebShop 環(huán)境中所有任務的平均召回分數(shù)來報告。
決策模擬
研究者比較了 WebShop 環(huán)境中 LAA 的決策性能。下表 1 列出了平均獎勵方面的表現(xiàn)。Agent 提示是根據(jù)不同 LLM 模型的最大上下文長度構建的。關于 BOLAA，研究者設計了一個搜索 LAA 和一個點擊 LAA，分別生成搜索查詢和點擊元素。觀察結果如下：

• 與其他 LAA 架構相比，BOLAA 的性能最佳，尤其是在高性能 LLM 上構建時。
• 將 LLM 與最佳 LAA 架構配對至關重要。
• 強大的 LLM 能夠在 Zeroshot LAA arch 下進行泛化。
• 當 Agent 基于開源 LLM 構建時，規(guī)劃流通?？梢蕴岣咝阅?。

知識推理模擬
隨后，研究者在 HotPotQA 環(huán)境中進行了基準測試，以評估 LAA 的多步驟推理能力。由于在該環(huán)境中，可用的搜索、查找和完成運算都與知識推理有關，很難分開，因此他們將 BOLAA arch 留待此后工作中使用，只比較其他 agent arch 的性能。結果如下表 3 所示：

總體來說，ReAct agent 引擎的性能最好，這可以從幾個方面來解釋。
首先，少樣本提示對于 LAA 的行為生成和推理能力是必要的，尤其是在使用較小規(guī)模語言模型進行實驗時。其次，通過比較 ReAct、PlanAct 和 PlanReAct，可以得出結論：LAA 的規(guī)劃流阻礙了其在知識推理環(huán)境和任務中的表現(xiàn)。原因在于，知識推理任務需要上下文信息來進行推理，而規(guī)劃流是在交互之前執(zhí)行的。因此，這些生成的規(guī)劃往往會導致 LAA 產(chǎn)生更多幻覺。第三，在知識推理任務中，模型大小比上下文長度更重要。大型模型的推理能力更強，因此表現(xiàn)更好。
此外，OpenAI gpt-3.5 模型的卓越推理能力再次得到驗證。研究者還觀察到 Llama2-70b 在所有開源 LLM 中表現(xiàn)最佳，這表明 Llama-2 模型未來可能會進行微調(diào)。
在比較了 LAA 和 LLM 的總體性能之后，研究者對它們在任務復雜度方面的性能進行了更詳細的研究，結果如下圖所示：

更多研究細節(jié)，可參考原論文。