【環(huán)球科技網(wǎng)】視頻，作為人們?nèi)粘?nèi)容消費的主要形式之一，在過去幾十年來經(jīng)歷了翻天覆地的變化。從早期低分辨率、有限色彩的視覺表現(xiàn)，到如今不僅在畫質(zhì)上實現(xiàn)飛躍，而是提供全方位、更真實、流暢的視覺感受。這一切的背后，離不開視頻云技術(shù)的強(qiáng)大支撐。如今，其應(yīng)用范圍已經(jīng)超越了傳統(tǒng)的娛樂領(lǐng)域，遠(yuǎn)程協(xié)作、在線教育、電商帶貨等極大地提升了日常生活的便捷性；而 AR/VR 等新興技術(shù)的興起，則提供了更加身臨其境的體驗。視頻云技術(shù)正在重塑我們與數(shù)字世界的連接方式。

   隨著AI時代的來臨，視頻云也迎來了新機(jī)遇。2024年，被譽為AI應(yīng)用落地的元年，大模型正以前所未有的速度走入千行百業(yè)，重塑人們的日常生活。IDC觀察到“大模型”、“生成式人工智能”與視頻云產(chǎn)品融合實現(xiàn)了超預(yù)期進(jìn)展，這一趨勢預(yù)示著視頻云的全面升級正當(dāng)時。視頻云通過引入AI技術(shù)，其應(yīng)用范圍是否會進(jìn)一步擴(kuò)大？如何為用戶帶來更加豐富多元的多媒體體驗？這些問題背后，蘊含著無限的可能性和廣闊的前景。

   作為這場技術(shù)革命的見證者和推動者，火山引擎視頻云聯(lián)合英特爾中國共同推出《云上新視界》第二季，以 “未來視界 盡在掌握” 為主題推出三期節(jié)目，內(nèi)容涵蓋電商大促、VR 文旅、賽事直播等前沿話題，深入探討了AI時代下視頻云技術(shù)的革新與應(yīng)用，展現(xiàn)了火山引擎視頻云在音視頻全鏈路中的創(chuàng)新實踐，以及AIGC技術(shù)如何賦能音視頻領(lǐng)域的新發(fā)展。

   從2024年6月27日正式上線到現(xiàn)在，在火山引擎開發(fā)者社區(qū)、字節(jié)跳動技術(shù)團(tuán)隊公眾號、字節(jié)跳動視頻云技術(shù)團(tuán)隊公眾號、InfoQ 等內(nèi)容平臺收獲無數(shù)好評。在本文中，將為您重點介紹三個應(yīng)用場景，一起來了解最前沿的視頻云技術(shù)如何重塑用戶體驗吧！

全鏈路賦能，AIGC重塑抖音電商大促季
   電商作為人們?nèi)粘ＯM的一環(huán)，含有大量內(nèi)容素材，從文字描述、產(chǎn)品圖像到展示視頻，及信息流廣告等等，無一不考驗商家對內(nèi)容素材的生產(chǎn)能力。特別是在大促期間，內(nèi)容需求會急劇增加。

   AIGC技術(shù)能顯著增強(qiáng)電商場景，包括自動生成文案、圖片和音視頻素材，優(yōu)化商品描述和推薦搜索機(jī)制，提供虛擬購物體驗，以及提升用戶交互體驗。這些應(yīng)用能覆蓋電商內(nèi)容生產(chǎn)的多個環(huán)節(jié)，從商品展示到營銷素材，再到用戶交互和虛擬體驗，幾乎滿足電商場景下素材生成的全部需求。

   但針對內(nèi)容生成的多樣性需求，如根據(jù)不同商品特性（如服裝、電子產(chǎn)品）提供多樣化視覺效果，要求模型能夠針對具體應(yīng)用場景進(jìn)行微調(diào)或訓(xùn)練。同時，為滿足用戶對快速響應(yīng)的需求，需在成本、效率和質(zhì)量之間尋找平衡點，可能通過選用高性能硬件或優(yōu)化軟件部署來實現(xiàn)。此外，硬件選擇也是一個關(guān)鍵點，需根據(jù)業(yè)務(wù)場景和成本效益選擇合適的CPU、GPU或AI加速器方案。

   為了解決這些需求難點，火山引擎視頻云在多方面進(jìn)行了技術(shù)突破。 例如優(yōu)化生成素材質(zhì)量，研發(fā)先進(jìn)模型以提升內(nèi)容多樣性和創(chuàng)造性，確保多媒體內(nèi)容高分辨率和真實感；根據(jù)商品和場景產(chǎn)出個性化內(nèi)容，避免同質(zhì)化；使用多樣化數(shù)據(jù)訓(xùn)練模型，增強(qiáng)多模態(tài)生成能力和交互性；優(yōu)化算力使用和算法效率，降低成本；實施數(shù)據(jù)加密、脫敏、訪問控制等措施保護(hù)隱私。

   英特爾的底層技術(shù)方案則在提供硬件資源的前提下，通過軟硬件的優(yōu)化方案來加速模型的訓(xùn)練和推理，為AIGC解決方案提供了可行性。首先，為確保為云上用戶AIGC方案的易用性，應(yīng)滿足性能要求的同時最小化成本，并通過一鍵式部署簡化使用體驗。此外，AIGC方案強(qiáng)調(diào)可擴(kuò)展性和動態(tài)擴(kuò)縮容能力，以適應(yīng)流量變化，保證服務(wù)質(zhì)量的同時避免資源浪費，尤其是在選擇計算資源時，CPU在計算粒度、內(nèi)存和彈性方面表現(xiàn)出優(yōu)勢，有助于優(yōu)化成本。

   這些技術(shù)的已經(jīng)為抖音電商大促場景帶來了多重增益。首先，商家可以快速生成海量創(chuàng)意內(nèi)容，滿足高頻營銷需求；其次，AIGC增強(qiáng)了商品的視覺吸引力，例如抖音超市自營商品氛圍圖已實現(xiàn)100%托管，整體點擊率提升了超過3個百分點；此外，AIGC通過提取核心賣點和提供精準(zhǔn)的個性化推薦，有效提升了轉(zhuǎn)化率和銷售額；在大促期間，AIGC驅(qū)動的智能客服能夠7x24小時不間斷地提供咨詢和反饋服務(wù)，提高了服務(wù)效率。

   可以看出，從商品描述、到商品圖片、視頻、3D展示到提取廣告素材，AIGC技術(shù)持續(xù)貼合更多使用場景的服務(wù)。在未來，電商的內(nèi)容生產(chǎn)會趨向鏈路化、全自動化，并且能在短時間內(nèi)生成海量的高質(zhì)量內(nèi)容?；蛟S只需要一個指令，它就能全自動進(jìn)行內(nèi)容生產(chǎn)。

超大空間、多人并發(fā)，揭秘云 VR 大空間技術(shù)

   不僅是線上電商，視頻云技術(shù)也正在為線下場景帶來新契機(jī)，其中云VR大空間已成為文旅行業(yè)炙手可熱的新概念。相較于傳統(tǒng)的VR文旅，云VR大空間通過提供高度沉浸感和真實感的空間，讓用戶可以在虛擬環(huán)境中自由漫步并實現(xiàn)一些交互，尤其當(dāng)這種技術(shù)與傳統(tǒng)文化相結(jié)合時，使得整個場景具有3A級或電影級別的沖擊力。

   在技術(shù)上，云VR大空間解放了場景開發(fā)的算力限制；整個迭代更新過程也實現(xiàn)了加速，開發(fā)周期從原本的一年半縮短至3到6個月；還極大地減少運維的復(fù)雜度，使得行業(yè)參與者能夠更加快速的投產(chǎn)。

   但目前來看，云VR大空間依舊面臨不少技術(shù)挑戰(zhàn)，包括高質(zhì)量內(nèi)容的缺乏、高成本、場地要求高且規(guī)模不足、技術(shù)門檻高等問題。同時，云VR的渲染模型和資源瓶頸也是需要解決的問題。

   火山引擎的“1+3+1”綜合解決方案框架便是整合內(nèi)容開發(fā)、端網(wǎng)云及運營平臺，為VR內(nèi)容提供全面技術(shù)支持。“1”涵蓋 VR 內(nèi)容開發(fā)，如動作捕捉、大空間定位與三維重建；“3”涉及VR設(shè)備端（音視頻解碼、手勢識別等）、網(wǎng)絡(luò)傳輸（穩(wěn)定低延時、高碼率）和云端技術(shù)（虛擬化、串流、渲染編解碼）；最后一個“1”指運營平臺，支持業(yè)務(wù)運營、多人互動等功能。

   在底層技術(shù)上，英特爾銳炫™ A770顯卡通過創(chuàng)新實踐支持云 VR 大空間應(yīng)用。其亮點包括對DXR Ultimate游戲和GAR超采樣技術(shù)的支持，以及200TOPS的AI加速。在《何以華夏》項目中，英特爾銳炫™ A770顯卡提供了560GB/s 高帶寬內(nèi)存，并通過多卡方案降低了運營成本。不斷優(yōu)化的驅(qū)動程序解決了兼容性和性能問題，已有100多個游戲支持 XES。此外，彈性編碼方案降低了編碼和網(wǎng)絡(luò)延遲，提升了用戶體驗。未來，單卡多實例SRV、邊緣渲染、AIGC和大語言模型問答將成為云VR發(fā)展的關(guān)鍵方向。

   在對于云VR大空間的嘗試中，火山引擎與英特爾走在前列。在2023年，字節(jié)跳動旗下XR品牌PICO與全球英特爾達(dá)成正式對外發(fā)布雙方共創(chuàng)文化IP「何以華夏」，其中火山引擎提供技術(shù)支持，通過先進(jìn)的 VR 技術(shù)方案，讓整個行業(yè)看到了VR與文化IP深度結(jié)合的可能性。2024年春節(jié)期間，全球首例云 VR 大空間應(yīng)用——龍游神州，在地壇廟會正式上線。這個云 VR 大空間項目實現(xiàn)了150平米峰值并發(fā)突破21路，并且實現(xiàn)了高幀率、低延遲、高清碼率的整體目標(biāo)，獲得了用戶和各方的廣泛認(rèn)可。目前在北京、上海、成都等城市，火山引擎所參與的《重返三星堆》《貞觀之歌》等項目正在陸續(xù)上線中。

云VR大空間所帶來的想象力是巨大的，未來有望進(jìn)一步拓展到教育、醫(yī)療、娛樂、企業(yè)培訓(xùn)等多個行業(yè)。特別是在文娛領(lǐng)域，KTV和電影院等公共場所可能會成為重要的應(yīng)用場景。云VR進(jìn)入家庭，也可以讓用戶在家也能享受到豐富多彩的VR體驗。 
高畫質(zhì)、低延遲、超穩(wěn)定，視頻云如何應(yīng)對賽事爆發(fā)年

   在國際上，場景進(jìn)化同樣也對視頻云技術(shù)提出了更高要求。2024年全球賽事的爆發(fā)，歐洲杯、美洲杯、巴黎奧運會等賽事引發(fā)觀賽熱潮，在賽事直播領(lǐng)域，裸眼3D、VR互動、AI互動等新玩法將觀賽體驗再度升級，這也為賽事直播帶來了新的技術(shù)挑戰(zhàn)。

   第一，面對龐大的觀眾群體和高流量，確保服務(wù)的穩(wěn)定與可靠是首要任務(wù)。第二，要做到直播的實時和流暢，低延遲性是實頂級的觀看體驗的核心。第三是高性能，只有盡可能發(fā)揮硬件的性能，才能夠在控制成本的同時，提供超高清且沉浸式的用戶體驗。

   火山引擎的 RTM 超低延時直播技術(shù)解決方案，通過UDP協(xié)議優(yōu)化方案解決TCP協(xié)議自身的局限性；在體驗優(yōu)化方面，節(jié)點優(yōu)選、用戶網(wǎng)絡(luò)分級等方面完成一百多項升級，實現(xiàn)直播端到端的延遲能夠小于一秒；在直播卡頓、秒開成功率等關(guān)鍵指標(biāo)上超越傳統(tǒng)直播。針對高并發(fā)場景，兼容了對樹狀和網(wǎng)狀動態(tài)組網(wǎng)的分發(fā)架構(gòu)，能夠更高效的處理復(fù)雜的容量及線路問題。該技術(shù)已在卡塔爾世界杯、杭州亞運會以及巴黎奧運會等多場全球賽事中得到應(yīng)用，證明了其在提供低延遲、高畫質(zhì)和流暢觀播體驗方面的能力。

   在保證低延時及強(qiáng)傳輸之外，觀眾對觀看效果的追求也越來越高，VR 觀賽成為提升觀眾觀看體驗的新趨勢。以2024年巴黎奧運會為例，抖音通過火山引擎提供全程直播，引入個性化形象選擇和空間音頻效果，實現(xiàn)沉浸式觀賽體驗。這也帶來了更高的技術(shù)挑戰(zhàn)，沉浸式觀賽需要每秒需要傳輸大量幀數(shù)，對傳輸層構(gòu)成了巨大壓力，容易因網(wǎng)絡(luò)擁塞導(dǎo)致卡頓、延遲甚至無法播放的問題。英特爾所提供的OVC 360度視頻庫、SVT可擴(kuò)展視頻庫以及Open WebRTC Toolkit等工具，可以幫助用戶快速高效的開發(fā)應(yīng)用。

   在平臺直播效果之外，視頻和AI的結(jié)合也越來越緊密；以及在直播編碼器 BVC、智能廣告等智能化傳播場景也有新突破。在未來，直播技術(shù)將在交互性、沉浸式體驗和智能化三個方向上進(jìn)一步創(chuàng)新，包括更低延遲的直播、自由視角視頻技術(shù)和基于AI的直播內(nèi)容生成與推薦?；鹕揭媛?lián)手英特爾將會根據(jù)市場需求和技術(shù)趨勢持續(xù)推出新功能和服務(wù)，以提升直播效果和用戶體驗。

   跟隨《云上新視界》第二季的深入探討，可以看出視頻云技術(shù)在電商大促、云VR大空間以及全球賽事直播等多個領(lǐng)域的創(chuàng)新應(yīng)用，也看到了視頻云所帶來的無限可能。從AIGC賦能抖音電商大促季的內(nèi)容生成革命，到云VR大空間為文旅行業(yè)帶來的沉浸式體驗升級，再到 RTM 超低延時直播技術(shù)保障全球賽事的流暢觀看，每一項進(jìn)展都是對視頻云行業(yè)的巨大飛躍。（作者 | 雷雨亭）