Xilinx為專業(yè)音視頻和廣播平臺(tái)增添高級(jí)機(jī)器學(xué)習(xí)功能

自適應(yīng)和智能計(jì)算的全球領(lǐng)先企業(yè)賽靈思公司（Xilinx, Inc.) 近日于北京宣布，針對(duì)面向?qū)I(yè)音頻/視頻（Pro AV）和廣播市場(chǎng)的賽靈思器件推出一系列全新的高級(jí)機(jī)器學(xué)習(xí)（ML）功能。此外，賽靈思還演示了業(yè)界首個(gè)基于7nm Versal? 器件的可編程 HDMI 2.1 實(shí)現(xiàn)方案。賽靈思將在本周于阿姆斯特丹舉辦的 2020 年歐洲集成系統(tǒng)展（ ISE ）上展出這些功能和更多其他功能。上述解決方案以及賽靈思面向 Pro AV 和廣播市場(chǎng)推出的其他高度自適應(yīng)解決方案，旨在幫助客戶降低成本、適應(yīng)未來，同時(shí)適應(yīng)全新的使用模式以及不斷發(fā)展演進(jìn)的產(chǎn)業(yè)標(biāo)準(zhǔn)。

面向 AI 邊緣處理的 高級(jí)ML功能

面向賽靈思 Pro AV 和廣播平臺(tái)全新推出的 ML 功能包括感興趣區(qū)域編碼（region-of-interest encoding）、智能數(shù)字標(biāo)牌（intelligent digital signage）、自動(dòng)對(duì)象跟蹤（automatic object tracking）和窗口剪切（window cropping）以及語音識(shí)別（speech recognition）?，F(xiàn)在，客戶能夠充分運(yùn)用賽靈思器件上的這些 ML 功能，包括已經(jīng)高度集成的 Zynq^? UltraScale+^TM MPSoC 平臺(tái)，用于實(shí)現(xiàn) AI 邊緣處理。將實(shí)時(shí)音視頻處理、AV 連接接口、編解碼器、IP 聯(lián)網(wǎng)、CPU 和 GPU 集成在可擴(kuò)展的自適應(yīng)單芯片解決方案中，能為用戶顯著節(jié)省空間、功耗和成本。

賽靈思 Pro AV 與廣播業(yè)務(wù)總監(jiān) Ramesh Iyer 表示：“機(jī)器學(xué)習(xí)作為一種快速發(fā)展的技術(shù)，正在激發(fā) Pro AV 與廣播領(lǐng)域的全新使用模式。在賽靈思自適應(yīng)平臺(tái)中添加 ML 功能，實(shí)現(xiàn)了高度集成的 AV 處理器，為 8K 視頻、IP 音視頻和壓縮功能提供了業(yè)經(jīng)驗(yàn)證的支持?，F(xiàn)在通過增添多種高級(jí)功能，有助于開展商業(yè)化分析、提高工作流效率和增強(qiáng)可用性。最終，這些集成ML 功能將幫助企業(yè)加速創(chuàng)新、實(shí)現(xiàn)自身差異化，并加快產(chǎn)品上市進(jìn)程。”

Pro AV 市場(chǎng)客戶能夠?qū)⑦@些全新的 ML 功能用于多種應(yīng)用和工作負(fù)載。主要包括：

·         感興趣區(qū)域編碼 —— 借助 ML 和 Zynq UltraScale+ MPSoC 集成型 H.264/H.265 編解碼器，保持這些區(qū)域的高質(zhì)量視頻畫質(zhì)、加大背景壓縮幅度，從而更好地檢測(cè)人臉和特征。這種方法能降低總比特率，大幅節(jié)省實(shí)時(shí)視頻流的成本。

·         智能數(shù)字標(biāo)牌 —— 使用 ML 模型檢測(cè)性別、年齡和手勢(shì)，在數(shù)字標(biāo)牌上提供針對(duì)性的交互廣告。這種方法能為廣告商帶來更高的投資回報(bào)率以及可獲利的行為指標(biāo)。

·         自動(dòng)對(duì)象跟蹤與窗口裁剪 —— 使用 ML 功能，從單個(gè) 4K 攝像頭輸出多個(gè)高清窗口。這項(xiàng)功能尤其適用于在實(shí)況播報(bào)和控制室中提供畫面切換內(nèi)容。

·         語音識(shí)別 —— 根據(jù)語音自動(dòng)輸出文本，理想適用于會(huì)議記錄內(nèi)容自動(dòng)轉(zhuǎn)錄以及會(huì)議與協(xié)作中的語言翻譯。

首款在 7nm 器件上實(shí)現(xiàn)的的 HDMI 2.1 方案

在 ISE 2020 上，賽靈思將演示業(yè)界首款基于賽靈思 7nm Versal^TM 器件的可編程 HDMI 2.1 實(shí)現(xiàn)方案。該方案基于賽靈思首款自適應(yīng)計(jì)算加速平臺(tái)（ ACAP ）構(gòu)建。ACAP是一款具有變革意義的全新異構(gòu)計(jì)算器件，其功能遠(yuǎn)超常規(guī)的 CPU、GPU 和 FPGA。

HDMI 2.1 數(shù)據(jù)速率高達(dá) 48Gbps，支持 8K60 和 4K120 等一系列更高的視頻分辨率和幀率，從而幫助 LED 畫面墻、大幅面顯示屏、數(shù)字標(biāo)牌以及運(yùn)動(dòng)賽事實(shí)況轉(zhuǎn)播等需要高速視頻功能的應(yīng)用提供更加身臨其境的體驗(yàn)。基于Versal ACAP 的 HDMI 2.1 實(shí)現(xiàn)方案專門支持這項(xiàng)標(biāo)準(zhǔn)，可以幫助客戶發(fā)送、接收和處理高達(dá) 8K（7680 x 4320 像素）的超高分辨率（ UHD ）視頻。

7nm Versal ACAP 在軟件可編程芯片架構(gòu)下提供了可擴(kuò)展的自適應(yīng)智能化引擎，將嵌入式軟件、多通道 AV 處理流水線和 AI 推斷緊密結(jié)合。此外，還將實(shí)時(shí)視頻處理、AV 連接接口、編解碼器、IP 聯(lián)網(wǎng)、CPU、GPU和其他功能集成在單芯片解決方案中，也能為客戶節(jié)省空間、功耗和成本。