利用超解像技術(shù)的新圖像編碼技術(shù)的概要

NHK放送技術(shù)研究所于正在舉行的“技研展2011”上，公開了進(jìn)行了將超解像技術(shù)應(yīng)用于圖像編解碼的技術(shù)演示。該技術(shù)通過在原來的圖像編解碼技術(shù)的基礎(chǔ)上“外加”視頻縮小（降頻轉(zhuǎn)換）和超解像技術(shù)（升頻轉(zhuǎn)換），來避免在編碼時使用過高的壓縮率，以減輕畫質(zhì)劣化。

具體做法為，首先對分辨率高的圖像進(jìn)行圖像縮小處理。然后，采用原來的H.264對該圖像進(jìn)行編碼。傳輸后，再用H.264進(jìn)行解碼。至此還保持著圖像縮小后的尺寸，因此還需要采用超解像技術(shù)將其恢復(fù)到原來的圖像尺寸。

據(jù)介紹這樣做的優(yōu)點在于，無需改變原有的編解碼技術(shù)，就能利用外加的技術(shù)和系統(tǒng)改進(jìn)編解碼。編碼時能夠選擇合理的壓縮率，具有減輕畫質(zhì)劣化的效果。

隨著圖像縮小產(chǎn)生的畫質(zhì)劣化較輕。原因是將圖像縮小時采用的各種參數(shù)及畫質(zhì)補(bǔ)償信息作為輔助信息發(fā)送到與影像數(shù)據(jù)不同的影像接收端，以供利用超解像技術(shù)恢復(fù)圖像時使用。

之所以能夠?qū)崿F(xiàn)上述技術(shù)，是因為超解像技術(shù)的發(fā)展。“原來的超解像技術(shù)存在邊緣處理方面的技術(shù)課題”（解說員）。最近，該課題得到大幅改善，因此才實現(xiàn)了此次的應(yīng)用。

不過，現(xiàn)在存在的課題是數(shù)據(jù)處理復(fù)雜，處理時的負(fù)荷和延遲較大。一般而言，圖像編碼技術(shù)的編碼處理越復(fù)雜，處理規(guī)模越大，就越能夠獲得劣化少的圖像壓縮效果。此次的方法是否真比上述的一般編解碼改善方法有優(yōu)勢，將是今后探討的課題。
“水的流動優(yōu)先”還是“邊緣優(yōu)先”？

此次，NHK技研作為具體的安裝方法，提出了A和B兩種方法。

方法A是在圖像縮小時根據(jù)圖案來改變像素壓縮率的方法。圖案復(fù)雜的部分降低壓縮率，而圖案簡單的部分則大膽間隔像素以大幅縮小圖像。

這樣，縮小后的圖像變?yōu)閴嚎s率隨著圖案明顯不同的變形圖像。這一點在將壓縮率不同的數(shù)據(jù)作為輔助信息發(fā)送給接收端并采用超解像技術(shù)恢復(fù)時使用。“方法A適于再現(xiàn)水的流動及光的反射等隨機(jī)動態(tài)數(shù)據(jù)。不過，在安裝到處理電路的硬件中還需要解決很多問題”。

方法B則是通過發(fā)送端掌握源于圖像縮小和編碼處理算法的圖像劣化信息，并將其用于優(yōu)化圖像縮小技術(shù)的方法。

具體做法是首先將通過編碼縮小了的圖像數(shù)據(jù)通過發(fā)送端解碼及采用超解像技術(shù)復(fù)原。然后，將復(fù)原后的圖像與原來的輸入圖像進(jìn)行比較，調(diào)整圖像縮小時的參數(shù)，以使源于圖像處理算法的圖像劣化降至最小。劣化信息作為輔助信息也發(fā)送給接收端。
方法B“最適合圖像不連續(xù)變化的邊緣處理。有時還采用小波分析等易于實現(xiàn)硬件電路的技術(shù)，比較容易安裝”（解說員）。據(jù)NHK技研介紹，今后還將探討將方法A和方法B相結(jié)合的方法。

利用超解像技術(shù)的新圖像編碼技術(shù)的概要。通過演示可以看出，采用新技術(shù)輸出的圖像比利用原編碼技術(shù)形成的圖像劣化明顯減少。