接入Llama 2等33個(gè)大模型，上線Prompt模板，百度智能云千帆大模型平臺重磅升級

最近，Meta 開源的 Llama 2 系列模型引發(fā)了不小的轟動。這些模型包含 7B、13B、70B 三種版本，最大的 70B 版本性能接近 GPT-3.5，小一點(diǎn)的版本甚至可以在移動端運(yùn)行，且整個(gè)系列都允許商用，有望成為眾多大模型應(yīng)用的底層支撐。很多人預(yù)言說，「大模型的安卓時(shí)代就要來了」。

Llama 系列模型的 Github star 量已經(jīng)逼近 4 萬。根據(jù)官方消息，自發(fā)布以來，Llama 2 一周內(nèi)就有超過 15 萬次的下載請求。

不過，基于 Llama 2 構(gòu)建應(yīng)用并不只是把它從開源庫里下載下來那么簡單，模型的后續(xù)調(diào)優(yōu)、中文增強(qiáng)、安全評估、與外部數(shù)據(jù)的融合、推理算力消耗等都是擺在開發(fā)者、企業(yè)面前的現(xiàn)實(shí)問題。這也是當(dāng)前很多大模型的共性問題。大模型和應(yīng)用之間需要一座橋梁。

在國內(nèi)，百度智能云的千帆大模型平臺正在努力作好這個(gè)角色。

該平臺以百度自研的文心大模型為核心，還支持 ChatGLM2、RWKV、MPT、Dolly、OpenLlama、Falcon 等第三方大模型。而且，剛剛發(fā)布十幾天的 Llama 2 也已經(jīng)在他們的模型庫中上線（7B、13B、70B 三種版本都有）。

再加上，千帆本身就是一個(gè)從數(shù)據(jù)管理、訓(xùn)練調(diào)優(yōu)到大模型發(fā)布的一站式工具鏈平臺，剛剛還新增了預(yù)置 Prompt 模板，所以，利用這個(gè)平臺構(gòu)建基于 Llama 2 等大模型的應(yīng)用變得非常簡單、高效，其效果也將明顯區(qū)別于直接調(diào)用原生開源大模型。

在這篇文章中，我們將走近這一平臺，看看它到底有哪些功能。

千帆大模型平臺：大模型落地加速器

打開千帆平臺，可以看到它的左側(cè)羅列了很多功能模塊，包括數(shù)據(jù)服務(wù)、大模型訓(xùn)練、大模型管理、大模型服務(wù)以及最近新增的 Prompt 模板。這些都是為了加快大模型的落地應(yīng)用而設(shè)計(jì)的。

在應(yīng)用端，很多人對于大模型的感知來源于 ChatGPT 等提供的一個(gè)對話框。一開始，大家會覺得這個(gè)對話框幾乎是萬能的，想問什么就問什么。但時(shí)間一長，人們也發(fā)現(xiàn)了各種問題，有很多個(gè)性化需求無法得到滿足，尤其是企業(yè)需求。

這些企業(yè)有一部分想要用更低的成本調(diào)用效果依然不錯(cuò)的大模型，希望利用有限的算力獲取更大的價(jià)值，最好有一個(gè)模型庫可以選擇，還要有配套的「說明書」；還有一部分希望基于某些強(qiáng)大的開源模型訓(xùn)練自己的行業(yè)大模型，追求高效的訓(xùn)練、部署方法以及更低的成本。當(dāng)然，他們也有一些共同的訴求，即克服大模型的一些固有缺陷，比如可能輸出有害或違反法律法規(guī)的內(nèi)容，信息的時(shí)效性有所延遲，無法原生地結(jié)合企業(yè)個(gè)性化信息等。

這些問題的解決方案都藏在上面提到的那些功能模塊里。

首先，在基礎(chǔ)模型的選擇上，為了確保模型的可靠性，千帆以模型效果、模型安全性、可商用為指標(biāo)嚴(yán)選了 33 個(gè)大模型。這些大模型各有所長，比如 Llama2 7B 體積較小，RWKV 擅長處理長文本。企業(yè)可以根據(jù)不同細(xì)分場景的業(yè)務(wù)需求，把這些模型組合起來使用。

此外，千帆還對這 33 個(gè)大模型進(jìn)行了性能 + 安全的雙重增強(qiáng)。

其中，性能的增強(qiáng)通過優(yōu)化模型吞吐、降低模型尺寸來實(shí)現(xiàn)，調(diào)優(yōu)后模型體積可壓縮至 25%-50%，推理成本最多可降低 50%，與直接調(diào)用或部署第三方開源模型相比更經(jīng)濟(jì)。

安全增強(qiáng)是指對輸出的內(nèi)容進(jìn)行審核，確保其安全合規(guī)，這項(xiàng)功能兼顧第三方和自有模型，大大降低了企業(yè)直接調(diào)用、部署第三方開源模型可能面臨的風(fēng)險(xiǎn)。

當(dāng)然，除了直接調(diào)用外，企業(yè)還可以對這些模型進(jìn)行訓(xùn)練、調(diào)優(yōu)，定制自己的專屬大模型。在這一過程中，千帆不僅支持傳統(tǒng)的全量參數(shù)更新，還支持 prompt tuning、LoRA 等只更新部分參數(shù)的高效微調(diào)方法。同時(shí)，為了讓模型更好地與人類意圖對齊，它還支持人類反饋強(qiáng)化學(xué)習(xí)（RLHF）訓(xùn)練。

眾所周知，RLHF 訓(xùn)練是一件費(fèi)時(shí)費(fèi)力的事情，就連 Meta 在第一版 Llama 模型中都沒有著重進(jìn)行這項(xiàng)訓(xùn)練。但在千帆大模型平臺的頁面上，我們能夠很容易地找到一套完整的訓(xùn)練流程，這可能成為很多企業(yè)、開發(fā)者大幅提升開源模型性能的關(guān)鍵。這點(diǎn)在 Llama 1 到 Llama 2 的進(jìn)化中已經(jīng)得到了證明，Meta 的研究人員在 Llama 2 的論文中指出，RLHF 非常重要，模型的出色寫作能力基本上是由 RLHF 驅(qū)動的，它不只是一種安全工具，更是一種提高模型能力上限的訓(xùn)練方法。

具體到每個(gè)訓(xùn)練步驟，千帆都配套了相應(yīng)的工具，包括 13 種數(shù)據(jù)清洗及增強(qiáng)算子以及嚴(yán)密的數(shù)據(jù)回流設(shè)計(jì)。

為了降低訓(xùn)練成本，千帆在數(shù)據(jù)服務(wù)中提供了答案自動生成功能和智能在線標(biāo)注，而且支持帶排序的標(biāo)注功能，讓想要進(jìn)行這項(xiàng)訓(xùn)練的開發(fā)者、企業(yè)可以借助一套自動化的工具來高效、低門檻地完成。

除了強(qiáng)大的模型庫，Prompt 模板也是千帆本次更新的重點(diǎn)。

Prompt 有多重要？相信每個(gè)用過 ChatGPT、文心一言的人都深有體會。在工業(yè)界，Prompt 工程已經(jīng)成為一個(gè)熱門的就業(yè)方向。

為什么要專門招人做這件事？因?yàn)閷τ谄髽I(yè)來說，大模型就像一個(gè)強(qiáng)大但沒有說明書的機(jī)器，需要一個(gè)非常了解大模型技術(shù)特點(diǎn)的人來總結(jié)其使用方法。

千帆此次發(fā)布的 103 款 prompt 模板有望在一定程度上減輕企業(yè)這方面的負(fù)擔(dān)。這些模板包含對話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場景，企業(yè)既可以直接調(diào)用，也可以借鑒模板思路進(jìn)行改寫。

從這些功能模塊中，我們可以看出千帆平臺創(chuàng)建的初衷：他們希望企業(yè)在將大模型引入業(yè)務(wù)的時(shí)候不用再到處找工具，在一個(gè)平臺上就可以把所有問題都解決掉，從而加快大模型在產(chǎn)業(yè)界的落地速度。平臺的這次密集更新讓他們離這一目標(biāo)更近了一步。

目前，平臺新增的 Prompt 模板已經(jīng)開放內(nèi)測，機(jī)器之心在千帆后臺，選擇平臺接入的某個(gè)大型語言模型進(jìn)行了測試（模型生成結(jié)果僅供參考，可能存在紕漏）。

Prompt 模板上手體驗(yàn)

打開「Prompt 模板」模塊可以發(fā)現(xiàn)，模板列表位于對話框的右側(cè)，找到想用的模板，選擇「引用」，即可將模板復(fù)制到對話框。

在這里，我們以機(jī)器之心高頻的素材收集任務(wù)為例，看看使用模板前后的效果差異。

比如，在報(bào)道最近大火的「室溫超導(dǎo)」話題時(shí)，我們想搜集一些有關(guān)該話題的科普素材。如果隨便問一個(gè)問題，效果是這樣的：

問：室溫超導(dǎo)是什么？ 

答：室溫超導(dǎo)是指可以在高于零攝氏度的溫度下產(chǎn)生超導(dǎo)現(xiàn)象的材料。相比其他的超導(dǎo)體，室溫超導(dǎo)體的條件是日常較容易達(dá)到的工作條件。一旦室溫超導(dǎo)得以實(shí)現(xiàn)，將徹底改變電力和電子工業(yè)，使電力傳輸不受任何阻力影響，從而帶來前所未有的效率和技術(shù)進(jìn)步。

但調(diào)用了千帆提供的素材收集模板后，我們得到了更全面的信息：

問：生成一份與室溫超導(dǎo)有關(guān)的十大事實(shí)、統(tǒng)計(jì)數(shù)據(jù)和趨勢的清單

答：1. 超導(dǎo)材料可以在零電阻下工作，因此不會損失任何電能。這一特性使得超導(dǎo)材料在電力傳輸、電子設(shè)備和磁懸浮等領(lǐng)域具有巨大潛力。

2. 目前已經(jīng)發(fā)現(xiàn)許多超導(dǎo)材料，包括元素、合金、化合物和有機(jī)物。其中一些已經(jīng)在實(shí)驗(yàn)室中實(shí)現(xiàn)了高溫超導(dǎo)，但大多數(shù)需要在極低溫度下工作。

3. 室溫超導(dǎo)是一種在室溫下表現(xiàn)出超導(dǎo)性的材料。目前尚未找到在室溫下具有超導(dǎo)性的純元素，但已經(jīng)發(fā)現(xiàn)一些合金和化合物可以在室溫下表現(xiàn)出超導(dǎo)性。

4. 在過去幾十年中，科學(xué)家一直在尋找室溫超導(dǎo)材料，但尚未取得重大突破。盡管如此，最近的一些發(fā)現(xiàn)為室溫超導(dǎo)的研究開辟了新的方向，包括使用金屬氧化物和有機(jī)材料等。

5. 超導(dǎo)材料的超導(dǎo)性是由其電子行為所決定的。了解電子如何在材料中移動和相互作用是開發(fā)新型超導(dǎo)材料的關(guān)鍵。

6. 超導(dǎo)材料對于磁場的反應(yīng)非常強(qiáng)烈，這使得它們在磁懸浮、核磁共振成像和磁力計(jì)等方面具有重要應(yīng)用。

7. 超導(dǎo)材料在技術(shù)上的應(yīng)用需要克服許多挑戰(zhàn)，包括成本、生產(chǎn)技術(shù)和穩(wěn)定性等。

8. 超導(dǎo)材料在能源領(lǐng)域的應(yīng)用包括高效電力傳輸、發(fā)電機(jī)和電動機(jī)等。這些應(yīng)用可以大大減少能源損失和碳排放。

9. 隨著研究的不斷深入，超導(dǎo)材料的溫度限制不斷提高。目前，最高的超導(dǎo)轉(zhuǎn)變溫度是約200開爾文。

10. 超導(dǎo)材料的研究已經(jīng)導(dǎo)致了多個(gè)諾貝爾物理學(xué)獎(jiǎng)的獲得，包括1972年的邁斯納獎(jiǎng)、1987年的高溫超導(dǎo)獎(jiǎng)和2003年的高溫超導(dǎo)獎(jiǎng)。

借助模板，我們還可以讓大模型提供寫評論的參考角度：

問：我希望你能作為一個(gè)評論員。我將為你提供與新聞有關(guān)的故事或話題，你要寫一篇評論文章，對手頭的話題提供有見地的評論。你應(yīng)該用你自己的經(jīng)驗(yàn)，深思熟慮地解釋為什么某件事很重要，用事實(shí)來支持你的主張，并討論故事中提出的任何問題的潛在解決方案。主題是：韓國研究者聲稱發(fā)現(xiàn)常壓室溫超導(dǎo)新材料

答：韓國研究者聲稱發(fā)現(xiàn)常壓室溫超導(dǎo)新材料，這一發(fā)現(xiàn)引發(fā)了全球科學(xué)界的關(guān)注和熱議。對于這一話題，我深感興奮并認(rèn)為這一發(fā)現(xiàn)具有深遠(yuǎn)的意義和影響。首先，常壓室溫超導(dǎo)新材料的重要性不言而喻。超導(dǎo)材料可以在無電阻狀態(tài)下傳輸電能，從而大大提高能源傳輸效率。這一發(fā)現(xiàn)有望解決當(dāng)前能源傳輸損耗問題，并帶來能源利用的革命性變化。此外，常壓室溫超導(dǎo)新材料還可以應(yīng)用于電子設(shè)備、磁懸浮系統(tǒng)等領(lǐng)域，推動相關(guān)技術(shù)的進(jìn)步和發(fā)展。

對于這一發(fā)現(xiàn)的深遠(yuǎn)影響，我認(rèn)為主要有以下幾個(gè)方面。首先，能源傳輸效率的提高將有助于減少能源浪費(fèi)，降低碳排放，推動綠色能源的發(fā)展。其次，新超導(dǎo)材料的發(fā)現(xiàn)將促進(jìn)相關(guān)產(chǎn)業(yè)的發(fā)展，帶動經(jīng)濟(jì)的增長。最后，這一發(fā)現(xiàn)還將推動科學(xué)技術(shù)的發(fā)展，為人類探索未知領(lǐng)域提供新的思路和動力。當(dāng)然，這一發(fā)現(xiàn)也提出了一些問題。例如，新超導(dǎo)材料的制備和大規(guī)模應(yīng)用需要克服許多技術(shù)難題。此外，超導(dǎo)材料的成本也是一個(gè)問題，需要研究如何降低成本，以便更廣泛地應(yīng)用。

針對這些挑戰(zhàn)，我認(rèn)為應(yīng)該加強(qiáng)研究，探索新超導(dǎo)材料的制備方法和大規(guī)模應(yīng)用技術(shù)。同時(shí)，還應(yīng)積極開展相關(guān)技術(shù)的研發(fā)和創(chuàng)新，為新超導(dǎo)材料的廣泛應(yīng)用提供技術(shù)支持。總之，韓國研究者的這一發(fā)現(xiàn)對于人類社會的發(fā)展具有深遠(yuǎn)的影響和意義。我們應(yīng)該關(guān)注這一領(lǐng)域的發(fā)展，并積極投入研究，為未來的科技進(jìn)步做出貢獻(xiàn)。

由于兩個(gè)模板應(yīng)用起來比較高頻，我們選擇把它們加入「我的收藏」，節(jié)省查找時(shí)間。

此外，我們發(fā)現(xiàn)，千帆還支持自定義模板功能。于是，我們把平時(shí)積累的一些高效 Prompt 創(chuàng)建成了模板，讓模型更好地提供翻譯建議，結(jié)果非常令人滿意，大大節(jié)省了每次重新編輯 Prompt 的時(shí)間。

問：你是一位深度學(xué)習(xí)專家，同時(shí)精通中英翻譯，我需要你幫我翻譯一篇深度學(xué)習(xí)論文。Transformer、LLM、token等專業(yè)名詞不需要翻譯。你可以對翻譯結(jié)果進(jìn)行潤色，使其更符合中文表達(dá)習(xí)慣。開始翻譯:

Despite the advancements of open-source large lanquage models (LLMs) and their variants, e.g, LLaMA and Vicuna, they remain significantly limited in performing higher-level tasks, such as following human instructions to use external tools (APls).

This is because current instruction tuning largely focuses on basic language tasks instead of the tool-use domain. This is in contrast to state-of-the-art (SOTA) LLMs, e.g, ChatGPT, which have demonstrated excellent tool-use capabilities but are unfortunately closed source.

答：盡管開源大型語言模型（LLM）及其變體（例如Llama和Vicuna）取得了進(jìn)步，但它們在執(zhí)行高級任務(wù)方面仍存在顯著限制，例如遵循人類指令使用外部工具（API）。這是由于當(dāng)前的任務(wù)調(diào)整主要集中在基本語言任務(wù)，而不是工具使用領(lǐng)域。與最先進(jìn)的（SOTA）的LLM，例如ChatGPT，形成對比，它已經(jīng)展示了出色的工具使用能力，但不幸的是它是閉源的。

升級背后的思考

在媒體交流會上，千帆的工程師將千帆大模型平臺的未來發(fā)展方向概括為更易用、更全面、更安全、更高效、更開放，更擴(kuò)展，這也是我們在這次升級中能感受到的。

「易用」的感受非常直觀。整個(gè)千帆的界面看似復(fù)雜，但框架清晰，操作簡單，而且每個(gè)功能模塊都搭配了使用文檔和操作指引。此外，模型的易用性也隨著 Prompt 模板等功能的推出而逐步提升。

「全面」、「安全」、「高效」、「開放」、「擴(kuò)展」體現(xiàn)在豐富的模型庫和工具鏈上。這些模型庫和工具鏈既滿足了當(dāng)前的一些「不確定性」需求，也滿足了一些「確定性」需求。

不確定性需求指的是，當(dāng)前大模型還處在發(fā)展初期，企業(yè)還不確定什么樣的模型更適合自己的業(yè)務(wù)。所以在這個(gè)階段，千帆想通過更加全面、開放的工具鏈、更多樣的模型庫來為企業(yè)提供更多的選擇，在一個(gè)繁榮的平臺上快速接受市場反饋，然后把這些反饋沉淀下來，利用平臺分享出去。

確定性需求指的是企業(yè)在降本增效、模型安全性等方面的共性需求，比如在某些場景中，企業(yè)并不需要參數(shù)量巨大的通用模型，算力要求較低的小模型就能解決問題，所以千帆要為這樣的需求配置全面、高效的工具鏈，完成模型壓縮等剛需任務(wù)，同時(shí)確保模型安全。

基于這樣的思考，千帆的技術(shù)團(tuán)隊(duì)對平臺上的模型庫和工具鏈持續(xù)打磨，在短短幾個(gè)月的時(shí)間內(nèi)就實(shí)現(xiàn)了數(shù)次迭代，將大模型的強(qiáng)大能力持續(xù)輸送到各行各業(yè)。在未來幾個(gè)月，我們還將看到這一平臺帶來更多的驚喜。