編者按：近年來，視頻的多種呈現(xiàn)形式得到了更多行業(yè)的認可，視頻技術在跨行業(yè)的應用被賦予了更多的可能性和興趣。不同行業(yè)制作內(nèi)容的多樣性和差異化進一步增加了視頻內(nèi)容升級的需求。作為專業(yè)的音視頻技術服務商，騰云網(wǎng)絡提出了影視級跨平臺視頻制作技術解決方案并應用于實際案例。在場景中。 2022影音技術大會上海站特邀騰云網(wǎng)絡李志強先生與我們分享影視級跨平臺視頻制作技術的實施實踐。主要包括3個部分：1.解決方案背景下的痛點分析和技術解決方案； 2.應用案例效果分享與展示； 3. 技術挑戰(zhàn)與實戰(zhàn)方案分享。

文/李志強

組織/

大家好，我是騰云網(wǎng)絡的李志強，我叫節(jié)子。我們目前正在研究的解決方案是 VE 視頻引擎。這次想和大家分享的是電影級跨平臺視頻制作技術的落地實踐。這里想和大家討論兩個話題：一是電影級跨平臺視頻制作技術本身的技術架構，以及它在場景中能解決哪些問題。其次，在復雜的跨平臺場景下，我們可以通過哪些方式向客戶呈現(xiàn)電影級的畫面？

1、背景與方案

首先，我想和大家分享一下我們觀察到的行業(yè)對影視視頻制作技術需求的變化。

我簡單將整體市場需求背景分為三個主要方面：一是追求視頻內(nèi)容質(zhì)量升級。很多參加上海站的大佬，比如快手等短視頻平臺，都在短視頻內(nèi)容方面對中國網(wǎng)民進行了很多教育。當用戶熟悉了一種內(nèi)容形式后，就必須開始對內(nèi)容形式追求更高品質(zhì)的審美。同樣，在視頻領域，用戶在受到大量短視頻的教育后，開始追求更高質(zhì)量的視頻內(nèi)容。但是我們遇到的問題是，當各個細分行業(yè)都在追求更多的視頻內(nèi)容時，有一些我們可以通過C端的短視頻制作工具來創(chuàng)作，但是在專業(yè)的場景中，比如廣告、企業(yè)宣傳片，甚至對于廣電使用的大量視頻內(nèi)容，我們用一些純C端的工具可能無法滿足需求。這種類型的內(nèi)容制作仍然是由傳統(tǒng)的專業(yè)設計師使用專業(yè)的設計工具手工制作的。如果這種需求爆發(fā)，傳統(tǒng)手工制作的效率將捉襟見肘。因此，我們想探索是否可以將專業(yè)設計師的創(chuàng)意賦能給非專業(yè)設計師的普通用戶，讓每個人或大多數(shù)人都能擁有專業(yè)級的視頻創(chuàng)作能力。

我們簡單地將主流的視頻制作方案分為幾類：一種是移動端的視頻制作技術網(wǎng)站制作，或者是C端的視頻制作技術。主要解決C端用戶的表達需求。二是SaaS工具，為偏尾的運營內(nèi)容制作提供視頻制作工具。人們傾向于基于H5渲染技術或視頻技術為用戶解決創(chuàng)意問題，但這些技術存在一些不足。渲染能力缺乏相應的支持。而對于整個視頻元素本身的動畫，它只支持比較簡單的基礎變換動畫，不支持更復雜的面向設計師的運動曲線，包括表情和基于物理模擬生成動畫的能力。另外，對于圖片本身的調(diào)整，只支持基本的調(diào)整，比如下沉市場中經(jīng)常出現(xiàn)的卡片動畫或者視頻效果。

那么，我們希望幫助用戶創(chuàng)作什么樣的視頻？在視頻中可以看到，戶外裸眼3D大屏和3D場景渲染都可以讓用戶實時創(chuàng)作。對我們來說最重要的是如何讓用戶參與到內(nèi)容制作過程中，或者如何將用戶的個性化需求融入到畫面中，從而生成用戶獨特的專業(yè)內(nèi)容。

從專業(yè)內(nèi)容制作流程的分析，我們將整個影視視頻內(nèi)容制作流程抽象為四個關鍵步驟：首先，需要完成素材獲取。主要解決方案是使用支持4K和HDR的手機獲取或?qū)ふ野鏅鄮旌献?。然后需要制作每個鏡頭。這里的鏡頭主要是指短鏡頭。比如一部電影的畫面只有1-2秒，長鏡頭最多10秒。再長的時間都是一個長鏡頭。鏡片生產(chǎn)的專業(yè)流程非常復雜。比如MG動畫可能只是一個2D鏡頭，再到復雜的場景，比如漫威電影，融合了3D場景的渲染，也需要和采集到的原始素材進行合成。然后將鏡頭中的效果與原始材質(zhì)結合起來進行特殊效果。鏡頭拍好后，還有很多鏡頭需要剪輯、拼接，最后導出。

這是我們提出的解決方案，在攝取方面，我們推出了 Leap 社區(qū)。這個社區(qū)現(xiàn)在有名專業(yè)設計師，為用戶提供了大量的模板。社區(qū)內(nèi)所有的視頻制作邏輯都是模板化的，用戶可以對里面的元素進行個性化的修改。我們提供 Leap in 鏡頭制作和特效合成，是整體視頻、電影和視頻處理技術在實踐中的產(chǎn)品體現(xiàn)。 Leap可以幫助設計人員解決從2D和3D內(nèi)容到鏡頭制作中的特效合成的模板內(nèi)容制作需求的一站式解決方案，進而生成模板供最終用戶使用。那么，底層驅(qū)動這些功能的核心技術就是VE視頻引擎。

我將向您介紹 VE 視頻引擎。關心專業(yè)級視頻制作邏輯的同仁應該都知道，我們稱之為動畫行業(yè)或視頻行業(yè)。我們VE視頻引擎的整體架構研發(fā)與目標完全一致。同時，我們在AE短板的一些方面做補充。至此，我們已經(jīng)完全實現(xiàn)了AE 80%的核心渲染能力，并在3D渲染方面補充了一些更強大的解決方案。

簡單分享給大家音頻處理和視頻處理。我們的核心能力主要在動畫渲染引擎。圖層渲染架構、復合渲染架構、關鍵幀動畫引擎、字體渲染引擎、矢量繪圖引擎和特效繪圖引擎，是我們完全自主研發(fā)的專業(yè)級視頻處理模塊。除了這些模塊，我們還提供基于SDF的3D渲染引擎和基于模型材質(zhì)和燈光的常見3D渲染引擎。

在這里，我想和大家分享一下我們在開發(fā)和實現(xiàn)這些渲染引擎以及解決Web端問題時提出的一些設計要求：首先，我們的渲染引擎與AE完全對齊。實現(xiàn)了 AE 80% 的核心渲染能力，結合強大的 3D 能力。同時，我們提出了跨平臺支持，保證了無論從桌面、移動端、GPU云服務器還是Web前端的渲染架構的靈活性，為用戶提供完全標準或正確的視頻級像素渲染能力終端方面；其次，我們也想為非專業(yè)用戶賦能專業(yè)設計師的能力。我們的解決方案是將設計師在AE中制作的視頻一鍵轉(zhuǎn)換成模板，讓更多的用戶可以基于模板進行個性化。

回到我們剛才說的，模板制作可以分為上游和下游兩個環(huán)節(jié)。上游是專業(yè)設計師的模板，下游是終端用戶的模板。為了讓設計師做出更好更精彩的模板，我們也不斷為設計師開發(fā)更多特效插件。在這里跟大家分享一下我們開發(fā)的一些插件的效果。

我們可以看到。視頻中提供的3D內(nèi)容和提供給設計師的創(chuàng)意能力，可以由設計師轉(zhuǎn)為模板提供給最終用戶。

那么設計師如何制作模板呢？剛才提到，它主要是基于 Leap 產(chǎn)品，其核心邏輯是為用戶提供一個 web 端的模板創(chuàng)建工具。我們現(xiàn)在有一個非常強大的工作流程。設計師在AE中設計好視頻后，可以一鍵上傳到云端，然后轉(zhuǎn)換成模板。整個操作過程非常順利。我們在網(wǎng)頁瀏覽器中實時渲染一個AE項目的效果非常好。第二點是我們還可以將模板中的參數(shù)暴露給用戶進行編輯。無論是模板中的素材，還是模板中的參數(shù)，用戶都可以進行實時調(diào)整，滿足用戶個性化創(chuàng)作的需要。

PPT中的左側(cè)屏幕展示了設計者如何在AE中一鍵加載項目到Leap。右側(cè)畫面顯示設計師在AE中完成了整個項目的設計，然后訪問Leap網(wǎng)站在本地讀取AE項目并一鍵上傳到云端。這時候設計師的作品就變成了一個模板，所有數(shù)據(jù)都在web端實時還原和渲染。

為了讓最終用戶可以調(diào)整其中的材質(zhì)和參數(shù)，設計師可以標記一些標記。比如項目中有很多材質(zhì)，所以我希望最終用戶可以調(diào)整其中的一些元素。他可以在素材界面中為最終用戶設計一個編輯界面，或者可編輯參數(shù)的具體設計。右邊的視頻展示了設計師設計模板的編輯界面。

我們目前在 Leap 社區(qū)平臺上擁有超過 20,000 名專業(yè)設計師。一方面我們會為設計師提供豐富的特效設計工具，另一方面我們擁有大量的版權素材資源，同時我們也開設了創(chuàng)作和實現(xiàn)的任務中心我們有大量的B端客戶，也有分散在各個行業(yè)的客戶。使用我們的技術后，他們對模板內(nèi)容有源源不斷的需求，可以到任務中心發(fā)送模板制作任務，平臺設計師可以到任務中心接收創(chuàng)建和實現(xiàn)的任務。同時，我們擁有在線模板審核和自動測試交付系統(tǒng)，完成創(chuàng)作生態(tài)的整個閉環(huán)。

我還想與您分享我們在 AE 或?qū)I(yè)設計工具方面所做的一些努力。前段時間，平面設計軟件領域比較火爆，我們會發(fā)現(xiàn)國外一些技術廠商，尤其是整個設計工具占主導地位的美國，已經(jīng)開始對中國采取封閉的態(tài)度。目前，在平面設計領域，一些中國廠商已經(jīng)開始崛起，為大家解決這方面的問題，實現(xiàn)國產(chǎn)替代。我們也會在視頻領域發(fā)現(xiàn)類似的問題?，F(xiàn)在國內(nèi)的專業(yè)視頻設計工具幾乎是一片空白。為了培養(yǎng)用戶使用國產(chǎn)工具，我們在Leap社區(qū)為國內(nèi)專業(yè)視頻設計師提供了大量免費的特效設計工具，這些設計工具基本完全自主研發(fā)并結合中國行業(yè)特點需要解決問題。設計師有一些獨特的痛點，同時我們每個月都會更新，不斷解決設計師的需求。

目前，創(chuàng)作中心有2萬多名專業(yè)設計師，很多設計師都是靠模板設計任務來實現(xiàn)自己的創(chuàng)作能力，不少設計師月收入超過1萬元。同時，我們社區(qū)的一個亮點是，如果你有專業(yè)的設計能力，可以在一天之內(nèi)輕松熟悉整個模板制作流程，進而實現(xiàn)全平臺變現(xiàn)和創(chuàng)收。

2、產(chǎn)品案例

接下來，在案例和技術完成后，我將與您分享我們的技術在哪些產(chǎn)品中得到了應用。

首先要和大家分享的是 Plus，它是一個電影級的模板化視頻制作平臺，是我們整個視頻處理技術的綜合應用。雖然我們也提供了移動端的渲染能力，但是這里主要跟大家分享一下它在web端的一些表現(xiàn)。

用戶可以進入 Plus，選擇自己喜歡的視頻模板，然后實時編輯模板。比如我想對里面的文字進行修改，可以像編輯PPT一樣直接修改。當然，用戶不僅可以編輯圖片、文字、視頻等素材，還可以實時調(diào)整參數(shù)。

比如有一個3D霓虹燈效果，用戶可以編輯里面的文字內(nèi)容。它的3D光照渲染和地面反射都是實時渲染的，用戶還可以調(diào)整霓虹燈的強度、描邊寬度等，滿足用戶的個性化需求。

此外，我們還與中國電信、中國聯(lián)通在5G時代的視頻彩鈴業(yè)務方面進行了深度合作。這里跟大家分享的是我們與聯(lián)通沃音樂合作的DIY視頻制作平臺。我們與中國聯(lián)通的合作項目不僅僅是技術授權，更是Leap社區(qū)整個創(chuàng)作過程的合作。因為對于中國聯(lián)通來說，他們需要為其C端用戶和企業(yè)客戶提供視頻彩鈴服務，同時也需要不斷提供大量優(yōu)質(zhì)視頻模板。一方面，我們在他們的APP中部署了視頻渲染能力，包括云端。用戶可以在自己的APP中創(chuàng)建自己的模板化視頻彩鈴。另一方面網(wǎng)站制作，我們的云渲染能力也會根據(jù)用戶數(shù)據(jù)自動生成個性化定制。視頻內(nèi)容。比如這里有一個應用場景，就是根據(jù)用戶的IP地址推斷出用戶當前的地理位置，然后為用戶推送每日天氣預報視頻等。

另一個案例是我們與二次元社區(qū)——的產(chǎn)品合作。在這個項目之前， 正在與我們的朋友合作開發(fā)一套技術。我們友商的技術方案主要是針對C端用戶制作視頻。 本身就是一個二次元漫畫創(chuàng)作分享社區(qū)。他希望能讓用戶將平面漫畫變成動態(tài)視頻，并使用這項技術?？梢陨蓚€性化的漫畫內(nèi)容。嗯，我們朋友的C端視頻制作方案比較傳統(tǒng)，給用戶的圖片添加轉(zhuǎn)場、濾鏡、字幕，拼湊出一個視頻邏輯，所以給個性化視頻創(chuàng)作留下的空間不大。 ，那么它不會解決客戶的愿望，即為用戶提供創(chuàng)建個性化，甚至是帶有情節(jié)的動畫視頻的能力?？蛻粼诮尤胛覀兊募夹g方案后，為用戶提供了為這個卡通人物創(chuàng)建個性化面部表情的能力，以及鏡頭和過渡的整體設計、整個動畫場景中元素的動畫、太陽的光效，二 次元角色本身的身體動畫、面部表情動畫、鏡頭之間的過渡，都可以由用戶進行個性化設置。這樣一來，整體上大大提升了用戶內(nèi)容創(chuàng)作的表現(xiàn)力，打開了整個想象空間。

3、技術挑戰(zhàn)與應對

接下來給大家分享一些大家可能感興趣的技術干貨。

首先網(wǎng)站開發(fā)，我想與您分享網(wǎng)絡時代技術發(fā)展帶來的一些機會。在這里，我們與您分享我們整個Web端解決方案的底層技術支持。每個人都應該熟悉它。說白了就是讓我們可以直接在瀏覽器中調(diào)用，包括這些高性能的渲染能力。最近也很火，我們會看到很多流媒體解決方案開始帶來一些更高的性能或更強大的功能。

我想和你分享的是。嗯，是的，第 94 個版本可供用戶使用。它開始向開發(fā)人員開放直接在瀏覽器中直接進行硬件解碼的能力。如果你對網(wǎng)頁端的平面設計工具感興趣或者了解它的整個開發(fā)周期，你應該知道，無論是國外還是國內(nèi)，它們崛起的機會之一是其技術棧已經(jīng)開始向開發(fā)者開放所以，我認為我們的電影級網(wǎng)頁端視頻處理技術，他能否開始商業(yè)化或者是一個基于工具的產(chǎn)品推向用戶的機會，在于。

它可能看起來只允許解碼調(diào)用硬件，但它帶來了兩個好處：第一，它可以讓我們快速完成一些高分辨率的視頻解碼，或者以較低的資源消耗完成視頻解碼；另一個好處是，如果我們在素材的解碼上花費的時間更少，那么在圖片的渲染上會留給我們更多的時間，這意味著我們有更多的時間可以交出，并且可以在術語上進行更復雜的操作屏幕渲染。

所以在剛才看到的史詩效果圖中，除了模型的創(chuàng)建，還需要為它生成模擬戰(zhàn)斗的傷疤，最后給它上色，還有一些比如景深、燈光效果渲染。假設有 30 幀，你只有 33 毫秒來渲染每一幀。如果解碼時間超過十毫秒網(wǎng)站優(yōu)化，那么你只有二十毫秒。但或許可以將解碼時間壓縮到幾毫秒，你就有更多的時間美化畫面，為提升畫質(zhì)提供相關機會。

在整體渲染方面，我們遇到的最大問題是如何在準確渲染和渲染性能之間找到平衡點。我將我們的主要策略抽象為三種主要方法：首先是從實際場景中優(yōu)先考慮算法決策。這句話聽起來有點像胡說八道，比較抽象。讓我給你舉個例子。比如我們要渲染一個3D場景，我們可以想象如果有相關廠商在做類似的事情，尤其是視頻模板，大部分3D場景視頻中的元素是不需要用戶修改的，所以大部分我們對這部分元素的操作方法是讓設計者提前在3D軟件中預渲染成視頻素材，然后交付給最終用戶。

那么，當你想提升畫面的表現(xiàn)時，你開始思考，我們需要最終用戶能夠在整個 3D 場景中自定義哪些內(nèi)容？考慮到這個需求，一般終端用戶對logo、文案、3D文字會有自定義需求，包括需要根據(jù)用戶logo生成的3D模型。所以這個時候，我們在做3D渲染引擎的時候，并沒有優(yōu)先考慮常見的基于點、線、面生成3D模型的3D渲染策略。我們選擇基于 SDF plus 的 3D 渲染引擎。 SDF實際上是一個距離場。當我們描述一個物體時，我們可以通過點、線、面來進行幾何描述，也可以通過空間中每個像素點與物體表面之間的距離場來描述3D物體。 我們現(xiàn)在將看到很多創(chuàng)意流程，包括一些比較流行的流程，開始大量使用 3D AI 建模。

我們認為這種渲染技術對用戶更有價值，為什么？用戶輸入個性化的文字，你給他創(chuàng)建一個3D模型或者他輸入一個圖片，你給他創(chuàng)建一個模型，這里的模型的復雜度是不可預知的，因為你不知道用戶會輸入什么。但是，如果使用SDF創(chuàng)建3D模型，基本上可以實現(xiàn)像素級建模，也就是說用戶可以畫出一個，根據(jù)覆蓋的每個像素為他生成一個3D模型。這種情況下，對于用戶來說，他能生成的內(nèi)容，生成內(nèi)容的方式，可能性都會大大增加。一方面降低了門檻，另一方面打開了可能性。

二是效果優(yōu)先，針對不同平臺提供不同的算法適配。我舉個簡單的例子，相信你也有這方面的實踐。對我們來說，移動端的稀缺資源是，比如端可能有很多內(nèi)存，但是iOS端有非常嚴格的內(nèi)存政策。如果每一幀占用太多內(nèi)存，會直接殺死APP。但是在服務器端，我們可以放開想象，我們可以為服務器配置大量的內(nèi)存，甚至可以直接將素材存儲在內(nèi)存中。那么這時候就有了以內(nèi)存換性能，以性能換內(nèi)存的策略。

第三點是要善于使用經(jīng)典的圖形算法。舉個例子，熟悉圖形的你應該知道，我們在做PBR渲染的時候會使用SAT渲染策略來實現(xiàn)動態(tài)模糊渲染。如果學了SAT算法，就知道它會工作在二維笛卡爾坐標系的平面上，那么當我們想要實現(xiàn)，比如輻射模糊，就沒有辦法使用SAT策略了。但是如果我們結合其他經(jīng)典算法，比如笛卡爾坐標和極坐標，我可以做一個變換，把放射性問題擴展成平面問題，那么SAT算法就可以再次工作了。因此，對經(jīng)典算法的深入理解和綜合應用，也是優(yōu)化整體渲染性能的重要手段。

最后，我想和大家分享一下，當我們所有的認知能力都完成后，接下來我們要考慮的就是減少計算量。跟大家分享一下我們認為對減少計算量非常有效的策略：首先，第一個是材質(zhì)緩存策略。舉個夸張的例子，我們發(fā)現(xiàn)客戶端渲染的時候很夸張，有時候一幀有170多張圖片。圖層涉及渲染，其中有很多 3D 操作和深度混合。如果解碼素材需要很多時間，那么渲染的時間真的太少了。因此，我們可以根據(jù)當前計算時間，包括下一次優(yōu)化時間，查看需要使用哪些素材，進行相關的預解碼，將素材緩存起來。

主要目的是減少整體渲染端的計算量。如果我們要渲染一個，在手機上預覽的時候，我們往往不需要全分辨率渲染。因為在預覽編輯過程的實現(xiàn)中，我可以使用半分辨率，但是如果我想要做好半分辨率，并不是簡單的對最終結果做一個縮放，這樣不僅會減少計算量，而且會增加渲染量。因為除了全分辨率渲染，最后還要進行縮放渲染。所以我們要做的一件事就是調(diào)整整個渲染引擎中每個參數(shù)的分辨率。例如，如果分辨率降低到 50%，我們會對每個參數(shù)做一個差異，參數(shù)會縮放 50%。這樣就可以保證從每一個參數(shù)素材到所有的屏幕尺寸，都可以和分辨率一起調(diào)整。

代理素材策略是減少解碼素材的時間。在剪輯過程中，如果有大的4K素材需要解碼，同時壓縮渲染時間。在這種情況下，我們通常會在云端為用戶生成低分辨率的素材?？赡苌傻牡头直媛仕夭闹挥?20p，但是我們通過代理參數(shù)告訴渲染引擎是4K，保證在整個參數(shù)和動畫中。數(shù)據(jù)正確。通過代理策略，我們可以大大降低高分辨率素材對整體渲染性能的影響。

最后一個策略，最無情的是多分辨率模板。當設計師設計全高清或4K模板時，我們會直接在不同平臺上為他生成不同的模板。例如，我們將生成 1/2 分辨率和 1/4 分辨率模板。這時候，我會把里面的每一個動畫數(shù)據(jù)和素材都進行壓縮，直接生成半尺寸或者1/4尺寸的素材和動畫數(shù)據(jù)。但是，為了讓設計者放心，設計者只需要創(chuàng)建一個高分辨率模板，剩下的多分辨率模板生成任務交給云端自動化處理。

這四種策略在我們的實踐中被廣泛使用。當然，每個策略在某些地方可能看起來重疊，但它所針對的場景并不相同。因此，每個人都可以在自己的業(yè)務場景中靈活選擇使用哪種策略。