接入Llama 2等33個(gè)大模型，上線(xiàn)Prompt模板，百度智能云千帆大模型平臺(tái)重磅升級(jí)

最近，Meta 開(kāi)源的 Llama 2 系列模型引發(fā)了不小的轟動(dòng)。這些模型包含 7B、13B、70B 三種版本，最大的 70B 版本性能接近 GPT-3.5，小一點(diǎn)的版本甚至可以在移動(dòng)端運(yùn)行，且整個(gè)系列都允許商用，有望成為眾多大模型應(yīng)用的底層支撐。很多人預(yù)言說(shuō)，「大模型的安卓時(shí)代就要來(lái)了」。

Llama 系列模型的 Github star 量已經(jīng)逼近 4 萬(wàn)。根據(jù)官方消息，自發(fā)布以來(lái)，Llama 2 一周內(nèi)就有超過(guò) 15 萬(wàn)次的下載請(qǐng)求。

不過(guò)，基于 Llama 2 構(gòu)建應(yīng)用并不只是把它從開(kāi)源庫(kù)里下載下來(lái)那么簡(jiǎn)單，模型的后續(xù)調(diào)優(yōu)、中文增強(qiáng)、安全評(píng)估、與外部數(shù)據(jù)的融合、推理算力消耗等都是擺在開(kāi)發(fā)者、企業(yè)面前的現(xiàn)實(shí)問(wèn)題。這也是當(dāng)前很多大模型的共性問(wèn)題。大模型和應(yīng)用之間需要一座橋梁。

在國(guó)內(nèi)，百度智能云的千帆大模型平臺(tái)正在努力作好這個(gè)角色。

該平臺(tái)以百度自研的文心大模型為核心，還支持 ChatGLM2、RWKV、MPT、Dolly、OpenLlama、Falcon 等第三方大模型。而且，剛剛發(fā)布十幾天的 Llama 2 也已經(jīng)在他們的模型庫(kù)中上線(xiàn)（7B、13B、70B 三種版本都有）。

再加上，千帆本身就是一個(gè)從數(shù)據(jù)管理、訓(xùn)練調(diào)優(yōu)到大模型發(fā)布的一站式工具鏈平臺(tái)，剛剛還新增了預(yù)置 Prompt 模板，所以，利用這個(gè)平臺(tái)構(gòu)建基于 Llama 2 等大模型的應(yīng)用變得非常簡(jiǎn)單、高效，其效果也將明顯區(qū)別于直接調(diào)用原生開(kāi)源大模型。

在這篇文章中，我們將走近這一平臺(tái)，看看它到底有哪些功能。

千帆大模型平臺(tái)：大模型落地加速器

打開(kāi)千帆平臺(tái)，可以看到它的左側(cè)羅列了很多功能模塊，包括數(shù)據(jù)服務(wù)、大模型訓(xùn)練、大模型管理、大模型服務(wù)以及最近新增的 Prompt 模板。這些都是為了加快大模型的落地應(yīng)用而設(shè)計(jì)的。

在應(yīng)用端，很多人對(duì)于大模型的感知來(lái)源于 ChatGPT 等提供的一個(gè)對(duì)話(huà)框。一開(kāi)始，大家會(huì)覺(jué)得這個(gè)對(duì)話(huà)框幾乎是萬(wàn)能的，想問(wèn)什么就問(wèn)什么。但時(shí)間一長(zhǎng)，人們也發(fā)現(xiàn)了各種問(wèn)題，有很多個(gè)性化需求無(wú)法得到滿(mǎn)足，尤其是企業(yè)需求。

這些企業(yè)有一部分想要用更低的成本調(diào)用效果依然不錯(cuò)的大模型，希望利用有限的算力獲取更大的價(jià)值，最好有一個(gè)模型庫(kù)可以選擇，還要有配套的「說(shuō)明書(shū)」；還有一部分希望基于某些強(qiáng)大的開(kāi)源模型訓(xùn)練自己的行業(yè)大模型，追求高效的訓(xùn)練、部署方法以及更低的成本。當(dāng)然，他們也有一些共同的訴求，即克服大模型的一些固有缺陷，比如可能輸出有害或違反法律法規(guī)的內(nèi)容，信息的時(shí)效性有所延遲，無(wú)法原生地結(jié)合企業(yè)個(gè)性化信息等。

這些問(wèn)題的解決方案都藏在上面提到的那些功能模塊里。

首先，在基礎(chǔ)模型的選擇上，為了確保模型的可靠性，千帆以模型效果、模型安全性、可商用為指標(biāo)嚴(yán)選了 33 個(gè)大模型。這些大模型各有所長(zhǎng)，比如 Llama2 7B 體積較小，RWKV 擅長(zhǎng)處理長(zhǎng)文本。企業(yè)可以根據(jù)不同細(xì)分場(chǎng)景的業(yè)務(wù)需求，把這些模型組合起來(lái)使用。

此外，千帆還對(duì)這 33 個(gè)大模型進(jìn)行了性能 + 安全的雙重增強(qiáng)。

其中，性能的增強(qiáng)通過(guò)優(yōu)化模型吞吐、降低模型尺寸來(lái)實(shí)現(xiàn)，調(diào)優(yōu)后模型體積可壓縮至 25%-50%，推理成本最多可降低 50%，與直接調(diào)用或部署第三方開(kāi)源模型相比更經(jīng)濟(jì)。

安全增強(qiáng)是指對(duì)輸出的內(nèi)容進(jìn)行審核，確保其安全合規(guī)，這項(xiàng)功能兼顧第三方和自有模型，大大降低了企業(yè)直接調(diào)用、部署第三方開(kāi)源模型可能面臨的風(fēng)險(xiǎn)。

當(dāng)然，除了直接調(diào)用外，企業(yè)還可以對(duì)這些模型進(jìn)行訓(xùn)練、調(diào)優(yōu)，定制自己的專(zhuān)屬大模型。在這一過(guò)程中，千帆不僅支持傳統(tǒng)的全量參數(shù)更新，還支持 prompt tuning、LoRA 等只更新部分參數(shù)的高效微調(diào)方法。同時(shí)，為了讓模型更好地與人類(lèi)意圖對(duì)齊，它還支持人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）訓(xùn)練。

眾所周知，RLHF 訓(xùn)練是一件費(fèi)時(shí)費(fèi)力的事情，就連 Meta 在第一版 Llama 模型中都沒(méi)有著重進(jìn)行這項(xiàng)訓(xùn)練。但在千帆大模型平臺(tái)的頁(yè)面上，我們能夠很容易地找到一套完整的訓(xùn)練流程，這可能成為很多企業(yè)、開(kāi)發(fā)者大幅提升開(kāi)源模型性能的關(guān)鍵。這點(diǎn)在 Llama 1 到 Llama 2 的進(jìn)化中已經(jīng)得到了證明，Meta 的研究人員在 Llama 2 的論文中指出，RLHF 非常重要，模型的出色寫(xiě)作能力基本上是由 RLHF 驅(qū)動(dòng)的，它不只是一種安全工具，更是一種提高模型能力上限的訓(xùn)練方法。

具體到每個(gè)訓(xùn)練步驟，千帆都配套了相應(yīng)的工具，包括 13 種數(shù)據(jù)清洗及增強(qiáng)算子以及嚴(yán)密的數(shù)據(jù)回流設(shè)計(jì)。

為了降低訓(xùn)練成本，千帆在數(shù)據(jù)服務(wù)中提供了答案自動(dòng)生成功能和智能在線(xiàn)標(biāo)注，而且支持帶排序的標(biāo)注功能，讓想要進(jìn)行這項(xiàng)訓(xùn)練的開(kāi)發(fā)者、企業(yè)可以借助一套自動(dòng)化的工具來(lái)高效、低門(mén)檻地完成。

除了強(qiáng)大的模型庫(kù)，Prompt 模板也是千帆本次更新的重點(diǎn)。

Prompt 有多重要？相信每個(gè)用過(guò) ChatGPT、文心一言的人都深有體會(huì)。在工業(yè)界，Prompt 工程已經(jīng)成為一個(gè)熱門(mén)的就業(yè)方向。

為什么要專(zhuān)門(mén)招人做這件事？因?yàn)閷?duì)于企業(yè)來(lái)說(shuō)，大模型就像一個(gè)強(qiáng)大但沒(méi)有說(shuō)明書(shū)的機(jī)器，需要一個(gè)非常了解大模型技術(shù)特點(diǎn)的人來(lái)總結(jié)其使用方法。

千帆此次發(fā)布的 103 款 prompt 模板有望在一定程度上減輕企業(yè)這方面的負(fù)擔(dān)。這些模板包含對(duì)話(huà)、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場(chǎng)景，企業(yè)既可以直接調(diào)用，也可以借鑒模板思路進(jìn)行改寫(xiě)。

從這些功能模塊中，我們可以看出千帆平臺(tái)創(chuàng)建的初衷：他們希望企業(yè)在將大模型引入業(yè)務(wù)的時(shí)候不用再到處找工具，在一個(gè)平臺(tái)上就可以把所有問(wèn)題都解決掉，從而加快大模型在產(chǎn)業(yè)界的落地速度。平臺(tái)的這次密集更新讓他們離這一目標(biāo)更近了一步。

目前，平臺(tái)新增的 Prompt 模板已經(jīng)開(kāi)放內(nèi)測(cè)，機(jī)器之心在千帆后臺(tái)，選擇平臺(tái)接入的某個(gè)大型語(yǔ)言模型進(jìn)行了測(cè)試（模型生成結(jié)果僅供參考，可能存在紕漏）。

Prompt 模板上手體驗(yàn)

打開(kāi)「Prompt 模板」模塊可以發(fā)現(xiàn)，模板列表位于對(duì)話(huà)框的右側(cè)，找到想用的模板，選擇「引用」，即可將模板復(fù)制到對(duì)話(huà)框。

在這里，我們以機(jī)器之心高頻的素材收集任務(wù)為例，看看使用模板前后的效果差異。

比如，在報(bào)道最近大火的「室溫超導(dǎo)」話(huà)題時(shí)，我們想搜集一些有關(guān)該話(huà)題的科普素材。如果隨便問(wèn)一個(gè)問(wèn)題，效果是這樣的：

問(wèn)：室溫超導(dǎo)是什么？ 

答：室溫超導(dǎo)是指可以在高于零攝氏度的溫度下產(chǎn)生超導(dǎo)現(xiàn)象的材料。相比其他的超導(dǎo)體，室溫超導(dǎo)體的條件是日常較容易達(dá)到的工作條件。一旦室溫超導(dǎo)得以實(shí)現(xiàn)，將徹底改變電力和電子工業(yè)，使電力傳輸不受任何阻力影響，從而帶來(lái)前所未有的效率和技術(shù)進(jìn)步。

但調(diào)用了千帆提供的素材收集模板后，我們得到了更全面的信息：

問(wèn)：生成一份與室溫超導(dǎo)有關(guān)的十大事實(shí)、統(tǒng)計(jì)數(shù)據(jù)和趨勢(shì)的清單

答：1. 超導(dǎo)材料可以在零電阻下工作，因此不會(huì)損失任何電能。這一特性使得超導(dǎo)材料在電力傳輸、電子設(shè)備和磁懸浮等領(lǐng)域具有巨大潛力。

2. 目前已經(jīng)發(fā)現(xiàn)許多超導(dǎo)材料，包括元素、合金、化合物和有機(jī)物。其中一些已經(jīng)在實(shí)驗(yàn)室中實(shí)現(xiàn)了高溫超導(dǎo)，但大多數(shù)需要在極低溫度下工作。

3. 室溫超導(dǎo)是一種在室溫下表現(xiàn)出超導(dǎo)性的材料。目前尚未找到在室溫下具有超導(dǎo)性的純?cè)?，但已?jīng)發(fā)現(xiàn)一些合金和化合物可以在室溫下表現(xiàn)出超導(dǎo)性。

4. 在過(guò)去幾十年中，科學(xué)家一直在尋找室溫超導(dǎo)材料，但尚未取得重大突破。盡管如此，最近的一些發(fā)現(xiàn)為室溫超導(dǎo)的研究開(kāi)辟了新的方向，包括使用金屬氧化物和有機(jī)材料等。

5. 超導(dǎo)材料的超導(dǎo)性是由其電子行為所決定的。了解電子如何在材料中移動(dòng)和相互作用是開(kāi)發(fā)新型超導(dǎo)材料的關(guān)鍵。

6. 超導(dǎo)材料對(duì)于磁場(chǎng)的反應(yīng)非常強(qiáng)烈，這使得它們?cè)诖艖腋?、核磁共振成像和磁力?jì)等方面具有重要應(yīng)用。

7. 超導(dǎo)材料在技術(shù)上的應(yīng)用需要克服許多挑戰(zhàn)，包括成本、生產(chǎn)技術(shù)和穩(wěn)定性等。

8. 超導(dǎo)材料在能源領(lǐng)域的應(yīng)用包括高效電力傳輸、發(fā)電機(jī)和電動(dòng)機(jī)等。這些應(yīng)用可以大大減少能源損失和碳排放。

9. 隨著研究的不斷深入，超導(dǎo)材料的溫度限制不斷提高。目前，最高的超導(dǎo)轉(zhuǎn)變溫度是約200開(kāi)爾文。

10. 超導(dǎo)材料的研究已經(jīng)導(dǎo)致了多個(gè)諾貝爾物理學(xué)獎(jiǎng)的獲得，包括1972年的邁斯納獎(jiǎng)、1987年的高溫超導(dǎo)獎(jiǎng)和2003年的高溫超導(dǎo)獎(jiǎng)。

借助模板，我們還可以讓大模型提供寫(xiě)評(píng)論的參考角度：

問(wèn)：我希望你能作為一個(gè)評(píng)論員。我將為你提供與新聞?dòng)嘘P(guān)的故事或話(huà)題，你要寫(xiě)一篇評(píng)論文章，對(duì)手頭的話(huà)題提供有見(jiàn)地的評(píng)論。你應(yīng)該用你自己的經(jīng)驗(yàn)，深思熟慮地解釋為什么某件事很重要，用事實(shí)來(lái)支持你的主張，并討論故事中提出的任何問(wèn)題的潛在解決方案。主題是：韓國(guó)研究者聲稱(chēng)發(fā)現(xiàn)常壓室溫超導(dǎo)新材料

答：韓國(guó)研究者聲稱(chēng)發(fā)現(xiàn)常壓室溫超導(dǎo)新材料，這一發(fā)現(xiàn)引發(fā)了全球科學(xué)界的關(guān)注和熱議。對(duì)于這一話(huà)題，我深感興奮并認(rèn)為這一發(fā)現(xiàn)具有深遠(yuǎn)的意義和影響。首先，常壓室溫超導(dǎo)新材料的重要性不言而喻。超導(dǎo)材料可以在無(wú)電阻狀態(tài)下傳輸電能，從而大大提高能源傳輸效率。這一發(fā)現(xiàn)有望解決當(dāng)前能源傳輸損耗問(wèn)題，并帶來(lái)能源利用的革命性變化。此外，常壓室溫超導(dǎo)新材料還可以應(yīng)用于電子設(shè)備、磁懸浮系統(tǒng)等領(lǐng)域，推動(dòng)相關(guān)技術(shù)的進(jìn)步和發(fā)展。

對(duì)于這一發(fā)現(xiàn)的深遠(yuǎn)影響，我認(rèn)為主要有以下幾個(gè)方面。首先，能源傳輸效率的提高將有助于減少能源浪費(fèi)，降低碳排放，推動(dòng)綠色能源的發(fā)展。其次，新超導(dǎo)材料的發(fā)現(xiàn)將促進(jìn)相關(guān)產(chǎn)業(yè)的發(fā)展，帶動(dòng)經(jīng)濟(jì)的增長(zhǎng)。最后，這一發(fā)現(xiàn)還將推動(dòng)科學(xué)技術(shù)的發(fā)展，為人類(lèi)探索未知領(lǐng)域提供新的思路和動(dòng)力。當(dāng)然，這一發(fā)現(xiàn)也提出了一些問(wèn)題。例如，新超導(dǎo)材料的制備和大規(guī)模應(yīng)用需要克服許多技術(shù)難題。此外，超導(dǎo)材料的成本也是一個(gè)問(wèn)題，需要研究如何降低成本，以便更廣泛地應(yīng)用。

針對(duì)這些挑戰(zhàn)，我認(rèn)為應(yīng)該加強(qiáng)研究，探索新超導(dǎo)材料的制備方法和大規(guī)模應(yīng)用技術(shù)。同時(shí)，還應(yīng)積極開(kāi)展相關(guān)技術(shù)的研發(fā)和創(chuàng)新，為新超導(dǎo)材料的廣泛應(yīng)用提供技術(shù)支持?？傊?，韓國(guó)研究者的這一發(fā)現(xiàn)對(duì)于人類(lèi)社會(huì)的發(fā)展具有深遠(yuǎn)的影響和意義。我們應(yīng)該關(guān)注這一領(lǐng)域的發(fā)展，并積極投入研究，為未來(lái)的科技進(jìn)步做出貢獻(xiàn)。

由于兩個(gè)模板應(yīng)用起來(lái)比較高頻，我們選擇把它們加入「我的收藏」，節(jié)省查找時(shí)間。

此外，我們發(fā)現(xiàn)，千帆還支持自定義模板功能。于是，我們把平時(shí)積累的一些高效 Prompt 創(chuàng)建成了模板，讓模型更好地提供翻譯建議，結(jié)果非常令人滿(mǎn)意，大大節(jié)省了每次重新編輯 Prompt 的時(shí)間。

問(wèn)：你是一位深度學(xué)習(xí)專(zhuān)家，同時(shí)精通中英翻譯，我需要你幫我翻譯一篇深度學(xué)習(xí)論文。Transformer、LLM、token等專(zhuān)業(yè)名詞不需要翻譯。你可以對(duì)翻譯結(jié)果進(jìn)行潤(rùn)色，使其更符合中文表達(dá)習(xí)慣。開(kāi)始翻譯:

Despite the advancements of open-source large lanquage models (LLMs) and their variants, e.g, LLaMA and Vicuna, they remain significantly limited in performing higher-level tasks, such as following human instructions to use external tools (APls).

This is because current instruction tuning largely focuses on basic language tasks instead of the tool-use domain. This is in contrast to state-of-the-art (SOTA) LLMs, e.g, ChatGPT, which have demonstrated excellent tool-use capabilities but are unfortunately closed source.

答：盡管開(kāi)源大型語(yǔ)言模型（LLM）及其變體（例如Llama和Vicuna）取得了進(jìn)步，但它們?cè)趫?zhí)行高級(jí)任務(wù)方面仍存在顯著限制，例如遵循人類(lèi)指令使用外部工具（API）。這是由于當(dāng)前的任務(wù)調(diào)整主要集中在基本語(yǔ)言任務(wù)，而不是工具使用領(lǐng)域。與最先進(jìn)的（SOTA）的LLM，例如ChatGPT，形成對(duì)比，它已經(jīng)展示了出色的工具使用能力，但不幸的是它是閉源的。

升級(jí)背后的思考

在媒體交流會(huì)上，千帆的工程師將千帆大模型平臺(tái)的未來(lái)發(fā)展方向概括為更易用、更全面、更安全、更高效、更開(kāi)放，更擴(kuò)展，這也是我們?cè)谶@次升級(jí)中能感受到的。

「易用」的感受非常直觀。整個(gè)千帆的界面看似復(fù)雜，但框架清晰，操作簡(jiǎn)單，而且每個(gè)功能模塊都搭配了使用文檔和操作指引。此外，模型的易用性也隨著 Prompt 模板等功能的推出而逐步提升。

「全面」、「安全」、「高效」、「開(kāi)放」、「擴(kuò)展」體現(xiàn)在豐富的模型庫(kù)和工具鏈上。這些模型庫(kù)和工具鏈既滿(mǎn)足了當(dāng)前的一些「不確定性」需求，也滿(mǎn)足了一些「確定性」需求。

不確定性需求指的是，當(dāng)前大模型還處在發(fā)展初期，企業(yè)還不確定什么樣的模型更適合自己的業(yè)務(wù)。所以在這個(gè)階段，千帆想通過(guò)更加全面、開(kāi)放的工具鏈、更多樣的模型庫(kù)來(lái)為企業(yè)提供更多的選擇，在一個(gè)繁榮的平臺(tái)上快速接受市場(chǎng)反饋，然后把這些反饋沉淀下來(lái)，利用平臺(tái)分享出去。

確定性需求指的是企業(yè)在降本增效、模型安全性等方面的共性需求，比如在某些場(chǎng)景中，企業(yè)并不需要參數(shù)量巨大的通用模型，算力要求較低的小模型就能解決問(wèn)題，所以千帆要為這樣的需求配置全面、高效的工具鏈，完成模型壓縮等剛需任務(wù)，同時(shí)確保模型安全。

基于這樣的思考，千帆的技術(shù)團(tuán)隊(duì)對(duì)平臺(tái)上的模型庫(kù)和工具鏈持續(xù)打磨，在短短幾個(gè)月的時(shí)間內(nèi)就實(shí)現(xiàn)了數(shù)次迭代，將大模型的強(qiáng)大能力持續(xù)輸送到各行各業(yè)。在未來(lái)幾個(gè)月，我們還將看到這一平臺(tái)帶來(lái)更多的驚喜。