在FPGA上優(yōu)化實現(xiàn)復(fù)數(shù)浮點計算

性能浮點處理一直與高性能CPU相關(guān)聯(lián)。在過去幾年中，GPU也成為功能強大的浮點處理平臺，超越了圖形，稱為GP-GPU(通用圖形處理單元)。新創(chuàng)新是在苛刻的應(yīng)用中實現(xiàn)基于FPGA的浮點處理。本文的重點是FPGA及其浮點性能和設(shè)計流程，以及OpenCL的使用，這是高性能浮點計算前沿的編程語言。

各種處理平臺的GFLOP指標(biāo)在不斷提高，現(xiàn)在，TFLOP/s這一術(shù)語已經(jīng)使用的非常廣泛了。但是，在某些平臺上，峰值GFLOP/s，即，TFLOP/s表示的器件性能信息有限。它只表示了每秒能夠完成的理論浮點加法或者乘法總數(shù)。分析表明，FPGA單精度浮點處理能夠超過1 TFLOP/s。

一種不太復(fù)雜的常用算法是FFT。使用單精度浮點實現(xiàn)了4096點FFT。它能夠在每個時鐘周期輸入輸出四個復(fù)數(shù)采樣。每一個FFT內(nèi)核運行速度超過80 GFLOP/s，大容量FPGA的資源支持實現(xiàn)7個這類的內(nèi)核。

但是，如圖1所示，這一FPGA的FFT算法GFLOP/s接近400 GFLOP/s。這是“按鍵式”OpenCL編譯結(jié)果，不需要FPGA專業(yè)知識。使用邏輯鎖定和DSE進(jìn)行優(yōu)化，7內(nèi)核設(shè)計接近單內(nèi)核設(shè)計的Fmax，將其GFLOP/s提升至500，超過了10 GFLOP/s每瓦。

這一每瓦GFLOP/s要比CPU或者GPU功效高很多。對比一下GPU，GPU在這些FFT長度上效率并不高，因此，沒有進(jìn)行基準(zhǔn)測試。當(dāng)FFT長度達(dá)到幾十萬個點時，GPU效率才比較高，能夠為CPU提供有效的加速功能。

圖1：Altera Stratix V 5SGSD8 FPGA浮點FFT性能。

總之，實際的GFLOP/s一般只達(dá)到峰值或者理論GFLOP/s的一小部分。出于這一原因，更好的方法是采用算法來對比性能，這種算法能夠合理的表示典型應(yīng)用的特性。算法越復(fù)雜，典型實際應(yīng)用的基準(zhǔn)測試就越具有代表性。

并不是依靠供應(yīng)商的峰值GFLOP/s指標(biāo)來確定處理技術(shù)，而是使用比較復(fù)雜具有代表性的第三方評估。高性能計算理想的算法是Cholesky分解。

這一算法經(jīng)常用于線性代數(shù)，高效的解出多個方程，可以實現(xiàn)矩陣求逆功能。這一算法非常復(fù)雜，要獲得合理的結(jié)果總是要求浮點數(shù)值表示。計算需求與N3成正比，N是矩陣維度，因此，一般對處理要求很高。實際GFLOP/s取決于矩陣大小以及所要求的矩陣處理吞吐量。

表1顯示了基于Nvidia GPU指標(biāo)1.35TFLOP/s的基準(zhǔn)測試結(jié)果，使用了各種庫，以及Xilinx Virtex6 XC6VSX475T，其密度達(dá)到475K LC，這種FPGA針對DSP處理進(jìn)行了優(yōu)化。用于Cholesky基準(zhǔn)測試時，這些器件在密度上與Altera FPGA相似。

表1：田納西州大學(xué)的GPU和Xilinx FPGA Cholesky基準(zhǔn)測試。

LAPACK和MAGMA是商用庫，而GPU GFLOP/s是指采用田納西州大學(xué)開發(fā)的OpenCL實現(xiàn)的。對于小規(guī)模矩陣，后者更優(yōu)化一些。

中等規(guī)模的Altera Stratix V FPGA (460kLE)也進(jìn)行了基準(zhǔn)測試，使用了單精度浮點Cholesky算法。如表2所示，在Stratix V FPGA上進(jìn)行Cholesky算法的性能要比Xilinx結(jié)果高很多。

表2：BDTI的Altera FPGA Cholesky和QR基準(zhǔn)測試。

應(yīng)指出，矩陣大小并不相同。田納西州大學(xué)結(jié)果是從[512×512]矩陣大小開始的。BDTI基準(zhǔn)測試達(dá)到了[360×360]矩陣大小。原因是，矩陣規(guī)模較小時，GPU效率非常低，因此，在這些應(yīng)用中，不應(yīng)該使用它們來加速CPU。在規(guī)模較小的矩陣時，F(xiàn)PGA的工作效率非常高。

其次，BDTI基準(zhǔn)測試是基于每個Cholesky內(nèi)核的。每個可參數(shù)賦值的Cholesky內(nèi)核支持選擇矩陣大小，矢量大小和通道數(shù)量。矢量大小大致決定了FPGA資源。較大的[360×360]矩陣使用了較長的矢量，支持這一FPGA中實現(xiàn)一個內(nèi)核，達(dá)到91GFLOP/s。較小的[60×60] 矩陣使用的資源更少，因此，可以實現(xiàn)兩個內(nèi)核，總共是2×39=78GFLOP/s。最小的[30×30]矩陣支持實現(xiàn)三個內(nèi)核，總共是 3×26=78GFLOP/s。

FPGA看起來更適合解決數(shù)據(jù)規(guī)模較小的問題。原因之一是因為計算負(fù)載隨N3而增大，數(shù)據(jù)I/O隨N2增大，最終，隨著數(shù)據(jù)的增加，GPU的I/O瓶頸不再是問題。另一項考慮是吞吐量。隨著矩陣規(guī)模的增大，由于每個矩陣的處理量增大，矩陣每秒吞吐量會大幅度下降。在某些點，吞吐量變得非常低，以至于無法滿足很多應(yīng)用的要求。在很多情況下，會分解大規(guī)模矩陣，處理每個小的子矩陣，以解決由于龐大的處理負(fù)載造成的吞吐量限制問題。

對于FFT，計算負(fù)載增加N log2 N，而數(shù)據(jù)I/O隨N增大而增大。對于規(guī)模較大的數(shù)據(jù)，GPU是高效的計算引擎。作為對比，數(shù)據(jù)長度很短時，F(xiàn)PGA是高效的計算引擎，更適合FFT長度達(dá)到數(shù)千的很多應(yīng)用，對于GPU，F(xiàn)FT長度是數(shù)十萬。

GPU和FPGA設(shè)計方法

使用Nvidia的專用CUDA語言或者開放標(biāo)準(zhǔn)OpenCL語言對GPU進(jìn)行編程。這些語言在能力上非常相似，而最大的不同在于CUDA只能用在Nvidia GPU上。

FPGA通常使用HDL語言Verilog或者VHDL進(jìn)行編程。這些語言的最新版雖然采用了浮點數(shù)定義，不用進(jìn)行綜合，但都不太適合支持浮點設(shè)計。例如，在System Verilog中，短實數(shù)變量與IEEE單精度(浮點)對應(yīng)，實數(shù)變量與IEEE雙精度對應(yīng)。

使用傳統(tǒng)的方法，將浮點數(shù)據(jù)通路綜合到FPGA的效率非常低。Xilinx FPGA在Cholesky算法上的性能很低，它使用了Xilinx浮點內(nèi)核生成功能，這證實了這一點。而Altera采用了兩種不同的方法。第一種使用基于Mathworks的設(shè)計輸入，稱之為DSP Builder高級模塊庫。這一工具包含了對定點和浮點數(shù)的支持。它支持7種不同精度的浮點，包括IEEE半精度、單精度和雙精度。它還支持矢量化，這是高效實現(xiàn)線性代數(shù)所需要的。而最重要的是，它能夠?qū)⒏↑c電路高效的映射到目前的定點FPGA體系結(jié)構(gòu)中，如基準(zhǔn)測試所示，規(guī)模中等的28 nm FPGA，Cholesky算法接近了100GFLOP/s。作為對比，在不具有綜合能力的規(guī)模相似的Xilinx FPGA上，實現(xiàn)同樣的算法，使用密度相似的FPGA，性能只有20GFLOP/s。

GPU編程人員比較熟悉OpenCL。面向FPGA的OpenCL編譯意味著，面向AMD或者Nvidia GPU編寫的OpenCL代碼可以編譯到FPGA中。Altera的OpenCL編譯器支持GPU程序使用FPGA，不需要熟練的開發(fā)典型的FPGA設(shè)計。

使用支持FPGA的OpenCL，相對于GPU有幾個關(guān)鍵優(yōu)勢。首先，GPU的I/O是有限制的。所有輸入和輸出數(shù)據(jù)必須由主CPU通過PCI接口進(jìn)行傳輸。結(jié)果延時會讓GPU處理引擎暫停，因此，降低了性能。

FPGA以各種寬帶I/O功能而知名。這些功能支持?jǐn)?shù)據(jù)通過千兆以太網(wǎng)和SRIO，或者直接從ADC和DAC輸入輸出FPGA。Altera定義了OpenCL標(biāo)準(zhǔn)的供應(yīng)商專用擴展，以支持流操作。

即使與I/O瓶頸無關(guān)，F(xiàn)PGA的處理延時也要比GPU低很多。眾所周知，GPU必須有數(shù)千個線程才能高效的工作。這是由于存儲器讀取很長的延時，以及GPU大量的處理內(nèi)核之間的延時。實際上，GPU必須有很多任務(wù)才能使得處理內(nèi)核不會暫停等待數(shù)據(jù)，否則會導(dǎo)致任務(wù)很長的延時。

而FPGA使用了“粗粒度并行”體系結(jié)構(gòu)。它建立了多個經(jīng)過優(yōu)化的并行數(shù)據(jù)通路，每一通路一般在每個時鐘周期輸出一個結(jié)果。數(shù)據(jù)通路的例化數(shù)取決于 FPGA資源，但一般要比GPU內(nèi)核數(shù)少很多。但是，每一數(shù)據(jù)通路例化的吞吐量要比GPU內(nèi)核高得多。這一方法的主要優(yōu)勢是低延時。降低延時在很多應(yīng)用中都是關(guān)鍵的性能優(yōu)勢。

FPGA的另一優(yōu)勢是很低的功耗，極大的降低了每瓦GFLOP/s。正如BDTI所測量的，Cholesky等復(fù)數(shù)浮點算法的每瓦GFLOP/s是每瓦5~6GFLOP/s。一般很難進(jìn)行GPU能效測量，但是，Cholesky的GPU性能達(dá)到50GFLOP/s，典型功耗是200W，得到的結(jié)果是 0.25每瓦GFLOP/s，單位FLOP/s的功率高20倍。

OpenCL和DSP Builder都依靠“融合數(shù)據(jù)通路”這種技術(shù)(圖2)，以這種技術(shù)實現(xiàn)浮點處理，能夠大幅度減少桶形移位電路，從而支持使用FPGA來開發(fā)大規(guī)模高性能浮點設(shè)計。

圖2：浮點的融合數(shù)據(jù)通路實現(xiàn)。

為降低桶形移位頻率，綜合過程盡可能使用較大的尾數(shù)寬度，從而不需要頻率歸一化和去歸一化。27×27和36×36硬核乘法器支持比單精度實現(xiàn)所要求的23位更大的乘法計算，54×54和72×72結(jié)構(gòu)的乘法器支持比52位更大的計算，這通常是雙精度實現(xiàn)所要求的。FPGA邏輯已經(jīng)針對大規(guī)模定點加法器電路進(jìn)行了優(yōu)化，包括了內(nèi)置進(jìn)位超前電路。

當(dāng)需要進(jìn)行歸一化和去歸一化時，另一種可以避免低性能和過度布線的方法是使用乘法器。對于一個24位單精度尾數(shù)(包括符號位)，24×24乘法器通過乘以2n對輸入移位。27×27和36×36硬核乘法器支持單精度擴展尾數(shù)，可以用于構(gòu)建雙精度乘法器。

在很多線性代數(shù)算法中，矢量點乘(圖3)是占用大量FLOP/s的底層運算。單精度實現(xiàn)長度是64的長矢量點乘需要64個浮點乘法器，以及隨后由63個浮點加法器構(gòu)成的加法樹。這類實現(xiàn)需要很多桶形移位電路。

圖3：矢量點乘優(yōu)化。

相反，可以對64個乘法器的輸出進(jìn)行去歸一化，成為公共指數(shù)，最大是64位指數(shù)?？梢允褂枚c加法器電路對這些64路輸出求和，在加法樹的最后進(jìn)行最終的歸一化。如圖3所示，這一本地模塊浮點處理過程省掉了每一加法器所需要的臨時歸一化和去歸一化。即使是IEEE754浮點，最大指數(shù)基本決定了最終的指數(shù)，因此，這種改變只是在計算早期進(jìn)行指數(shù)調(diào)整。

但是，進(jìn)行信號處理時，在計算最后盡可能以高精度來截斷結(jié)果才能獲得最佳結(jié)果。這種方法進(jìn)位額外的尾數(shù)，補償了單精度浮點處理所需要的早期去歸一化次優(yōu)方法，一般從27位到36位。采用浮點乘法器進(jìn)行尾數(shù)擴展，因此，在每一步不需要對乘積進(jìn)行歸一化。

注意，這一方法每個時鐘周期也會產(chǎn)生一個結(jié)果。GPU體系結(jié)構(gòu)可以并行產(chǎn)生所有浮點乘法，但是不能高效的并行進(jìn)行加法。之所以這樣是因為不同的內(nèi)核必須通過本地存儲器傳輸數(shù)據(jù)，彼此實現(xiàn)通信，因此，不能靈活的連接FPGA體系結(jié)構(gòu)。

這一方法產(chǎn)生的結(jié)果要比傳統(tǒng)IEEE754浮點結(jié)果精確得多，如表3的測量結(jié)果所示。BDTI的基準(zhǔn)測試獲得了相似的結(jié)果。

表3：FPGA相對于IEEE754浮點更精確的結(jié)果。

使用Cholesky分解算法，實現(xiàn)大規(guī)模矩陣求逆，獲得了表3的結(jié)果。以三種不同的方法實現(xiàn)了相同的算法——在Matlab/Simulink中，使用了IEEE754單精度浮點，在RTL單精度浮點處理中，使用融合數(shù)據(jù)通路方法，在Matlab中也使用了雙精度浮點。雙精度實現(xiàn)要比單精度實現(xiàn)精度高十億倍(109)。

表3對比了Matlab單精度;RTL單精度和Matlab雙精度存在誤差，確認(rèn)了融合數(shù)據(jù)通路方法的完整性。采用了這一方法來獲得輸出矩陣中所有復(fù)數(shù)元素的歸一化誤差以及矩陣元素的最大誤差。使用Frobenius范數(shù)計算了總誤差和范數(shù)：

請注意，由于范數(shù)包括了所有元素的誤差，因此，它要比每一誤差大很多。

而且，DSP Builder高級模塊庫和OpenCL工具流程都針對下一代FPGA體系結(jié)構(gòu)，支持并優(yōu)化目前的設(shè)計。由于體系結(jié)構(gòu)創(chuàng)新和工藝技術(shù)創(chuàng)新，性能可以達(dá)到100峰值GFLOPs/W。

總結(jié)

高性能計算應(yīng)用現(xiàn)在有新的處理平臺選擇。對于特殊類型的浮點算法，F(xiàn)PGA能夠提供低延時和較高的GFLOP/s。在幾乎所有應(yīng)用中，F(xiàn)PGA都能夠?qū)崿F(xiàn)優(yōu)異的每瓦GFLOP/s。隨著下一代高性能計算優(yōu)化FPGA的推出，這種優(yōu)勢會更明顯。

Altera的OpenCL編譯器為GPU編程人員提供了幾乎無縫的方法來評估這一新處理體系結(jié)構(gòu)的指標(biāo)。Altera OpenCL符合1.2規(guī)范，提供全面的數(shù)據(jù)庫支持。它解決了傳統(tǒng)FPGA遇到的時序收斂、DDR存儲器管理以及PCIe主處理器接口等難題。

對于非GPU開發(fā)人員，Altera提供DSP Builder高級模塊庫工具流程，支持開發(fā)人員開發(fā)高Fmax定點或者浮點DSP設(shè)計，同時保持了基于Mathworks的仿真和開發(fā)環(huán)境的優(yōu)點。要求高效能工作流程的FPGA開發(fā)人員多年以來一直使用這一產(chǎn)品，與經(jīng)驗豐富的FPGA開發(fā)人員相比，所實現(xiàn)的Fmax性能相同。