一夜爆火的Sora：大模型再升級，解鎖新玩法？

進入到2024年后，AI大模型的熱度沒有絲毫下滑跡象，反倒愈發(fā)火熱。2月16日，OpenAI發(fā)布了文生視頻工具Sora，成功復制了又一個ChatGPT時刻，震撼了科技產業(yè)，引爆社交平臺熱議。根據(jù)OpenAI官網的介紹，Sora是一個通用的視覺數(shù)據(jù)模型，生成的視頻可包含復雜的角色、特定的移動類型，以及主體和背景細節(jié)。

Sora到底是什么？

目前，Sora能夠根據(jù)用戶輸入的提示詞、文本指令或靜態(tài)圖像，生成長達60s的視頻，遠超此前Runway（18秒）、Pika（起步3秒+增加4秒）、Stable Video Diffusion（4秒）等AI視頻應用生成時長，在視頻效果及穩(wěn)定性等指標上表現(xiàn)也更加優(yōu)異。

Sora呈現(xiàn)良好的多模態(tài)能力，不僅支持文本生成視頻，還具備圖像生成視頻等能力，另外視頻可以往前/向后擴展，如果你對視頻的局部（比如背景）不滿意，也可以直接更換。雖然Sora尚未對公眾開放，從已經公布的生成的視頻案例來看，其中既能實現(xiàn)多角度鏡頭的自然切換，還包含復雜的場景和生動的角色表情，且故事的邏輯性和連貫性極佳。

Sora具有三大突出亮點：一是60秒長視頻，可以保持視頻主體與背景的高度流暢性與穩(wěn)定性；二是在一個視頻內實現(xiàn)多角度鏡頭，分鏡切換符合邏輯且十分流暢；三是理解真實世界的能力，對于光影反射、運動方式、鏡頭移動等細節(jié)處理得十分優(yōu)秀，極大地提升了真實感。

除了是視頻生成工具，「世界模擬器」也是Sora的重要標簽，畢竟Sora技術報告的標題就是“作為世界模擬器的視覺生成模型”。OpenAI在關于Sora的詳細技術報告中表示，Sora對自然語言的理解能力很強。OpenAI將其視為能夠理解和模擬現(xiàn)實世界的模型的基礎，相信其能力是實現(xiàn)AGI的重要里程碑。

AGI即Artificial General Intelligence，又稱通用人工智能，是指能夠完全模仿人類情感、行為，實現(xiàn)自我學習、自我改進、自我修正的智能計算機系統(tǒng)。AGI最大的特點在于對真實世界的規(guī)則，尤其是物理狀態(tài)、自然規(guī)律、化學變化等等因素的反饋。盡管Sora當前只展示了其在視頻，又或是內容創(chuàng)作上的能力，但其對于真實世界的理解已經展現(xiàn)出強悍的實力。

AI視頻生成的難點在于視頻是連續(xù)的多幀圖像，并且要有邏輯性，并非簡單的圖片組合。Sora令人驚嘆的地方是在于其生成的視頻是通過程序架構、通過不斷地訓練而來的：據(jù)OpenAI科學家提姆·布魯克斯透露，沒通過人類預先設定，Sora就自己通過“觀察”大量數(shù)據(jù)，自然而然地學會了關于3D幾何形狀和一致性的知識，其生成的虛擬視頻是符合現(xiàn)實世界物理規(guī)律的。

盡管Sora距離世界模型還有很長距離，并不意味著它已經‘讀懂’了物理規(guī)律，究竟是模型建立了真實世界的法則，還是解碼能力強大？不過肯定的是它證明了一點，即機器可以通過“投喂數(shù)據(jù)”推算出一些物理世界的規(guī)則。毫無疑問，Sora是機器模擬現(xiàn)實世界的一個里程碑。

Sora模型的技術路線

從ChatGPT到Sora，反映了大模型真實理解、反映和模擬物理世界的巨大能力，也讓我們看到了這種巨大的可能性。OpenAI官網公布的Sora大模型技術報告顯示，Sora的核心技術是Diffusion Transformer架構，基于該構架從一開始看似靜態(tài)噪聲的視頻出發(fā)，經過多步驟的噪聲去除過程，逐漸生成視頻。

2022年，Diffusion Transformer架構由Sora模型的主要作者Bill Peebles提出，他將Transformer結構替代了Diffusion模型中常用的U-Net結構；同時，受到訓練大語言模型的Token（文本單元）啟發(fā)，引入了Patch（視覺塊嵌入代碼）的概念，它能對像素、尺寸等各不相同的視頻進行編碼，提升了原來Diffusion模型在深度和寬度上的可擴展性，為視頻模型增加輸出時長奠定了基礎。

從技術路線來看，Diffusion架構是用于文生視頻的標準算法框架，已在業(yè)內達成共識。Sora“驚艷”之處在于為圖像視頻等多模態(tài)數(shù)據(jù)找到了適合Transformer架構的表征方式，從而將ScalingLaw從語言模型復制到了圖像視頻模型。此外，Sora能更好地理解用戶給的提示詞，借助DALL·E3的re-captioning功能，給訓練用的視頻素材都加上了高質量文本描述，在推理時借助了GPT對用戶輸入進行擴展，可謂“站在巨人肩膀上”更進一步。

盡管OpenAI在Sora的技術文檔中并未公開所有模型細節(jié)，但我們可以通過其描述大致推測出，Sora的實現(xiàn)仍然依賴于OpenAI在大語言模型領域取得巨大成功的“大力出奇跡”思想，即通過大幅提升訓練數(shù)據(jù)和參數(shù)規(guī)模實現(xiàn)視頻精度和對現(xiàn)實世界物理關系的“涌現(xiàn)”。

Sora面臨的問題

Sora模型目前還處于測試階段，預計再經過一段時間的安全測試和用戶反饋后才會正式提供服務，因此還無法了解Sora模型的實際效果。不過，OpenAI沒有刻意回避Sora模型生成錯誤內容的情況。在OpenAI發(fā)布的技術報告中有一段Sora模型生成的錯誤視頻，展示了桌上的水杯會先從底部流出果汁，然后沿著錯誤的方向和角度倒在桌上。

值得注意的是，Sora代表的AGI“世界模擬器”要運轉，離不開算力基礎設施。每一個深度學習的人工智能模型，都離不開背后強大算力的支持，Sora亦是如此。OpenAI CEO Altman曾公開表示，其工作與產品仍需更多算力提供幫助，目前公司所使用的還遠遠不夠。

而視頻生成推理需要更大的VRAM或帶寬，如果Sora開放使用后如期推動各類視頻創(chuàng)作的繁榮，當前電信和數(shù)通網絡的帶寬都需要大幅升級。作為廣義算力的一部分，網絡設備的需求也將爆發(fā)式增長。

AI技術的復雜性意味著需要大量金錢和算力資源投入。據(jù)媒體報道，OpenAI首席執(zhí)行官山姆·奧特曼正與投資者洽談，籌集資金用于研發(fā)，具體數(shù)目可能高達5萬億至7萬億美元。目前，OpenAI已展開自有芯片布局，路透社就曾報道OpenAI已經參與投資至少三家半導體設計公司，其中Cerebras更是一家初創(chuàng)型企業(yè)。

當然，我們也不能忽視Sora潛在的問題和風險。一方面，“文生視頻”模型需要海量的訓練數(shù)據(jù)來進行學習，這就會帶來版權問題；另一方面，和所有其他人工智能工具一樣，Sora過于逼真的視頻表現(xiàn)也會帶來對于偽造和傳播虛假內容的憂慮。如何在未來的實踐中保證數(shù)據(jù)安全、規(guī)避風險，確實值得關注。

針對業(yè)界的擔憂，美國聯(lián)邦貿易委員會（FTC）2月15日提出了禁止使用AI工具冒充個人的規(guī)則。FTC表示，它正在提議修改一項已經禁止冒充企業(yè)或政府機構的規(guī)則，將保護范圍擴大到所有個人。OpenAI內部仍在開展模型倫理側的對抗性測試，比如錯誤信息、仇恨內容、偏見內容、色情暴力內容等，會在文本輸入時被拒絕。

新生事物的發(fā)展過程難免會遭遇波折、迂回，但不會停下前行的腳步。近兩年，由于人工智能技術的迅猛發(fā)展，世界各國以及許多知名企業(yè)不約而同地加大了對相關產業(yè)的投入。據(jù)估計，2026年全球生成式人工智能的市場規(guī)模將到981億美元，無論是對Sora還是對其他人工智能工具來說，未來都可能給人類世界帶來更多驚喜和顛覆性的變革。

OpenAI迫不及待地推出仍在開發(fā)中的不完美模型，更像是用一出大型廣告秀吸引更多融資的高招。因此，現(xiàn)階段不必過于高估“文生視頻”模型為行業(yè)以及世界帶來的影響。Sora作為生成式AI模型的一顆“新星”，仍存在一些不成熟之處，比如邏輯性還有待提升，在更精細內容的調控方面有待加強。但它的出現(xiàn)，已經給大眾帶來了一定的想象空間。

技術浪潮下的文化產業(yè)，重塑與變革必然勢不可當，正如蒸汽機、發(fā)電機等機器工具的發(fā)明和普及，讓手工勞動被自動化機器代替。生成式AI所蘊含的深層次、革命性力量是不容低估的，與其揣著“飯碗焦慮”，我們不如將之視為工作的“搭子”。換言之，無論是ChatGPT還是Sora，技術進步更重要的意義在于讓更多人可以不被簡單重復的勞動所束縛，與AI成為工作“搭子”，從而去創(chuàng)造更大價值。