Arm 推出精銳超級分辨率技術(shù)
加入技術(shù)交流群
作者： Arm 開發(fā)者生態(tài)系統(tǒng)戰(zhàn)略總監(jiān) Peter Hodges
本文引用地址：http://2s4d.com/article/202407/461098.htm近日，Arm 推出了 Arm 精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)，這是一款面向移動設(shè)備進(jìn)行優(yōu)化升級的出色開源超級分辨率 （下文簡稱“超分”） 解決方案。本文將為你介紹我們所采用的方法，并歡迎你一同加入我們的技術(shù)探索旅程。
制作精良的游戲能夠帶領(lǐng)玩家踏上一段動人的旅程。游戲開發(fā)者套件里有許多工具可以為此增添助力，例如引人入勝的音樂、富有想象力的操控模式和圖形效果等。就圖形技術(shù)而言，手游中圖像的精細(xì)程度令人震撼。游戲被渲染到包含數(shù)百萬像素的屏幕上，并以驚人的 60Hz 或更高的刷新率顯示呈現(xiàn)。
推動游戲開發(fā)更上一層樓是行業(yè)永無止境的追求?，F(xiàn)代手游通過復(fù)雜的光照和著色器，不斷突破極限，以實現(xiàn)開發(fā)者的愿景。然而代價在于，這不僅加重了 GPU 的負(fù)載，還會消耗更多電力。即使是在高端 PC 上，我們也認(rèn)識到超分技術(shù)正是我們所追尋的答案。
Arm 精銳超級分辨率技術(shù)
通過超分技術(shù)，一幀的內(nèi)容得以在某些階段先以較低分辨率渲染，然后應(yīng)用該技術(shù)從低分辨率放大到高分辨率。這一技術(shù)并非在幀渲染的每個環(huán)節(jié)都使用，否則可能會在渲染全屏效果或用戶界面時產(chǎn)生不美觀的瑕疵。然而，在管線的早期階段，該技術(shù)可以發(fā)揮顯著作用，并作為流程的一環(huán)提供抗鋸齒效果。
圖：將超分技術(shù)集成到幀中
后處理技術(shù)示例
在眾多可用的解決方案中，AMD 超級分辨率銳畫技術(shù) 2 (FSR 2) 引起了我們的關(guān)注。作為 GPUOpen 的一部分，該開源項目始于 2016 年，采用相對寬松的 MIT 許可證，旨在提供可移植的解決方案，以緩解 PC 和游戲主機(jī)之間存在的性能差異。這引發(fā)了我們的關(guān)注和思考：優(yōu)秀的移動端解決方案應(yīng)該具備哪些特性？
超分技術(shù)的類型
超分技術(shù)主要分為空間類和時域類。最先問世和被開發(fā)者采用的是空間類技術(shù)。
空間類超分會逐幀生成結(jié)果，其工作原理理解起來更加簡單，對游戲引擎的要求也相對較低，例如 FSR 1 和驍龍游戲超級分辨率 (GSR) 就是這一類的代表。但該技術(shù)的缺點在于，開發(fā)者在選擇渲染分辨率時不能過于激進(jìn)，否則最終圖像可能會出現(xiàn)模糊。不過，這種技術(shù)的算力成本相對較低。
而時域類超分則更為復(fù)雜，它通過整合多個幀的信息來生成最終結(jié)果。通常來說，它能夠從較低分辨率生成更高質(zhì)量的圖像。但這對游戲引擎提出了額外的輸入要求。例如，必須提供深度和運動矢量信息，并且最好有反應(yīng)性遮罩，以便處理如粒子效果等缺乏深度或運動信息的元素。
邁向時域類超分技術(shù)
我們決定直接選用時域類超分技術(shù)，來應(yīng)對常見的圖形性能挑戰(zhàn)，并為手游開發(fā)者帶來優(yōu)勢。我們以 AMD FSR 2 為基礎(chǔ)，它能夠提供不錯的效果，但實現(xiàn)成本相對較高，僅適用于 PC 和高端游戲主機(jī)。我們的解決方案源自 FSR 2，因此開發(fā)者能夠繼續(xù)使用熟悉的 API 和配置選項。
在研究過程中，我們采用了大家熟悉的小餐館場景，并且增加了更多的局部重疊光源和主光源衰減，以此模擬實際的計算挑戰(zhàn)，大約需要渲染 280 萬個三角形。
圖：小餐館場景由 NVIDIA 提供，并基于 Creative Commons CC-BY-4.0 許可協(xié)議進(jìn)行發(fā)布
針對搭載 Arm Immortalis-G720 GPU 和采用 2800x1260 顯示分辨率的商用移動設(shè)備，我們對收集的結(jié)果進(jìn)行分析后，發(fā)現(xiàn) GPU 性能得到了顯著提升。
圖：使用 Arm ASR、FSR 2、FSR 1 和 GSR 時的
原生分辨率和提升性能的幀率分析
同樣重要的是，這項技術(shù)能夠穩(wěn)定保持在相對較低的溫度下，渲染出高質(zhì)量的結(jié)果。而以原生分辨率進(jìn)行渲染時，不可避免地會出現(xiàn)明顯的發(fā)熱升溫，這會有損游戲中的用戶體驗，并縮短游戲時間。
Arm ASR 的性能表現(xiàn)
Arm ASR 的出色性能得益于一系列高效的著色器代碼，不僅減輕了 GPU 的負(fù)載，也降低了帶寬需求。
圖：FSR 2 和 Arm ASR 的 GPU 性能分析
性能的提升往往也同樣意味著節(jié)省能耗，由此可以延長電池續(xù)航時間，這對于用戶的日常使用是一大利好。在我們與 MediaTek 的協(xié)作中，證實了這一推測，在搭載天璣 9300 芯片的手機(jī)上進(jìn)行了測試并得到了以下結(jié)果。
圖：原生全分辨率 (1080p)、Arm ASR 質(zhì)量、平衡和性能模式下 從 540p 提升到 1080p，以及原生半分辨率 (540p) 的功耗對比
Arm 游戲內(nèi)容團(tuán)隊一直在努力制作一款虛幻引擎 (Unreal Engine) 演示，以挑戰(zhàn)未來移動端 GPU 的性能極限。我們也期待將 Arm ASR 應(yīng)用于此類內(nèi)容演示中。
圖：由 Arm 內(nèi)容團(tuán)隊提供的 Mori 演示畫面
這個演示場景中包含了許多精致入微的細(xì)節(jié)，這正是因為我們在 Arm ASR 中支持了穩(wěn)健對比度自適應(yīng)銳化 (RCAS) 技術(shù)，AMD FSR 1 和 FSR 2 也采用了這項技術(shù)。效果顯而易見：
圖：Mori 場景中的放大部分
與開源社區(qū)共享成果
我們對這項工作成果深感自豪，并希望基于 MIT 開源許可協(xié)議與開發(fā)者社區(qū)進(jìn)行成果共享，使得每一位開發(fā)者都能親身感受 Arm ASR 的優(yōu)勢，并在自己的項目中嘗試應(yīng)用。如果你希望成為早期采用者，請掃描以下二維碼或者點擊閱讀原文，與我們聯(lián)系。
評論