基于PCIe總線的多路復(fù)用DMA高速傳輸系統(tǒng)的設(shè)計

摘要：文章針對雙處理器設(shè)備問的數(shù)據(jù)通信提出了基于PCIe非透明橋的高速傳輸系統(tǒng)的設(shè)計方法。該方法應(yīng)用于視頻轉(zhuǎn)碼設(shè)備，實驗結(jié)果表明當(dāng)轉(zhuǎn)碼設(shè)備作為外設(shè)與PC主機進行通信時，采用多路虛擬DMA方法的數(shù)據(jù)傳輸總帶寬可以穩(wěn)定的達到1100MB/s，為實現(xiàn)多路實時轉(zhuǎn)碼提供了前提保證。文中還重點介紹了虛擬DMA通道的實現(xiàn)、雙系統(tǒng)問通信模型的設(shè)計及傳輸系統(tǒng)性能優(yōu)化分析。

關(guān)鍵詞：PCIe總線 DMA傳輸 非透明橋 虛擬通道

0 引言

兩個處理器系統(tǒng)的數(shù)據(jù)通信方式可以采用網(wǎng)絡(luò)通信方式或者總線連接通信方式等。網(wǎng)絡(luò)通信的帶寬約為1Gbps～4Gbps即 128MB/s～512MB/s，在不同的工作條件下，網(wǎng)絡(luò)帶寬不同，網(wǎng)絡(luò)信號存在不穩(wěn)定性，這使得系統(tǒng)問建立的通信系統(tǒng)存在影響傳輸速率的不可控因素。 PCI Express作為目前使用最流行的總線，廣泛用于主機與外部設(shè)備間通信，16bit總線寬度的PCI Express2.0速率達到16GB/s(雙工)，遠遠超過了網(wǎng)絡(luò)通信速率且不需要配置網(wǎng)絡(luò)環(huán)境。

本文設(shè)計的傳輸系統(tǒng)應(yīng)至少提供8路傳輸通道供轉(zhuǎn)碼設(shè)備與主機進行通信，然而在以PCIe接口芯片設(shè)計傳輸系統(tǒng)時，芯片中有限的DMA通道(一般為4路)難以滿足轉(zhuǎn)碼設(shè)備多路實時轉(zhuǎn)碼的傳輸要求。因此，如何實現(xiàn)多路虛擬DMA通道、傳輸速率滿足要求且保證各通道傳輸速率均衡是軟件設(shè)計的重點。在此之上，文中將進一步探討如何降低傳輸系統(tǒng)對處理器系統(tǒng)CPU資源的占用率。

1 系統(tǒng)模型設(shè)計及系統(tǒng)通信機制

1.1 系統(tǒng)模型設(shè)計

數(shù)據(jù)傳輸系統(tǒng)軟件模型可分為3個層次，包括設(shè)備驅(qū)動層、系統(tǒng)應(yīng)用層和用戶接口層。系統(tǒng)結(jié)構(gòu)如圖1所示。

薛巨峰，副教授/碩士，主研領(lǐng)域：自動化控制技術(shù)和加工工程自動化技術(shù)。黃愛娟，碩士生，研究方向：計算機應(yīng)用技術(shù)。

由圖1可知傳輸系統(tǒng)由設(shè)備驅(qū)動模塊、DMA管理模塊、系統(tǒng)通信模塊、客戶端通信模塊和客戶端API組成。

設(shè)備驅(qū)動程序用于在處理器系統(tǒng)中識別PCIe接口芯片設(shè)備;DMA管理模塊(只在主機端存在)用于管理和分配處理器系統(tǒng)需要進行數(shù)據(jù)傳輸時對DMA通道的使用請求并完成數(shù)據(jù)傳輸功能;系統(tǒng)通信模塊用于處理器系統(tǒng)間的消息傳遞;客戶端通信模塊負責(zé)響應(yīng)客戶端與傳輸系統(tǒng)的鏈接請求和數(shù)據(jù)傳輸請求;客戶端 API(Client Register)是提供給用戶進行鏈接和傳輸請求的函數(shù)接口。

1.2 系統(tǒng)通信機制

在主從機端分別運行傳輸系統(tǒng)應(yīng)用程序(Plx_Server)完成傳輸系統(tǒng)的建立，Plx_Server等待客戶端調(diào)用Client Register進行鏈接請求。當(dāng)主從機端的Plx_Server都有可配對的客戶端鏈接請求，則為可配對客戶端建立1路虛擬DMA傳輸通道。客戶端使用Plx_Server為其分配的傳輸句柄(Client Socket)即可實現(xiàn)數(shù)據(jù)收發(fā)和斷開傳輸鏈接。

2 系統(tǒng)硬件設(shè)計

開發(fā)PCIe接口可以采用FPGA設(shè)計PCIe接口，但由于PCIe總線規(guī)范較復(fù)雜，這種開發(fā)方法難度很大;而采用專用PCIe接口芯片，可以免除繁瑣的時序分析，縮短開發(fā)周期，降低開發(fā)成本。本系統(tǒng)選擇后者，PCIe接口芯片選擇為PLX公司開發(fā)的PEX8619接口芯片。

PCIe橋連接方式有2種：透明橋(Transparent Bridge)和非透明橋(Non-Transparent Bridge)?？傁到y(tǒng)中存在兩個獨立的處理器，此時使用透明橋方式不利于整個系統(tǒng)的配置與管理，可能出現(xiàn)PCIe總線地址的映射沖突，此外不能使用PCIe透明橋連接兩個PCIe Agent設(shè)備，如x86處理器。采用非透明橋可有效的解決這些問題，提高PCIe傳輸系統(tǒng)的可移植性。非透明橋不是PCIe總線定義的標(biāo)準(zhǔn)橋片，但是這類橋片在連接兩個處理器系統(tǒng)中得到了廣泛的應(yīng)用。

PEX8619支持NT橋功能，芯片在智能配置器模式下的軟件模型如圖2所示。

在圖2中有兩個用于設(shè)備識別的配置空間寄存器(CSR)，離內(nèi)部虛擬PCIe總線較近的稱之為虛擬接口(Virtual Interface)，離得較遠的稱之為鏈路接口(Link Interface)。

在智能配置器模式中，NT橋鏈路端口連接的是從機的地址域，從機系統(tǒng)只管理NT橋鏈路接口Type 0功能(NT設(shè)備功能)。NT橋虛擬端口連接的是主機的地址域，主機管理所有NT橋虛擬接口Type 0功能和Type 1功能(DMA引擎功能)。跨域傳輸是通過地址轉(zhuǎn)換機制的路由來完成的。

3 系統(tǒng)軟件設(shè)計

3.1 設(shè)備驅(qū)動程序

主從機端分別安裝PLX公司提供的PLX_SDK_v7_11_Final設(shè)備驅(qū)動程序，從機端識別出NT橋的NT設(shè)備，主機端識別出NT橋的NT設(shè)備和DMA引擎。

3.2 系統(tǒng)應(yīng)用程序

PCIe傳輸系統(tǒng)Plx_Server與客戶端API(Client_Register)是一對多的關(guān)系，傳輸系統(tǒng)最多允許128對客戶端進行鏈接和數(shù)據(jù)傳輸，傳輸系統(tǒng)的函數(shù)關(guān)聯(lián)圖如圖3所示。

3.2.1 系統(tǒng)初始化

系統(tǒng)初始化主要是對PCIe設(shè)備進行初始化配置 和地址映射等工作。調(diào)用系統(tǒng)庫函數(shù)PlxPci_Device Find找到NT設(shè)備和DMA設(shè)備(只在主機端有)，并獲得設(shè)備描述符。使用PlxPci_PciBarMap函數(shù)將NTBar0、DMA Bar0(只在主機端有)和NT Bar2～NT Bar5映射到用戶虛地址空間。使用PlxPci_PhysicalMap函數(shù)申請128個大小為4MB的物理內(nèi)存并將其映射到用戶虛地址空間作為DMA數(shù)據(jù)緩沖區(qū)使用。這些寄存器的作用如表1所示。

3.2.2 DMA管理模塊

使用規(guī)定傳輸系統(tǒng)最多允許建立128對傳輸通道，而PEX8619芯片上只有4個DMA通道。面對128路虛擬傳輸通道和4路DMA物理通道的不匹配，系統(tǒng)中使用分時復(fù)用DMA通道的方法解決這一矛盾。

首先，分時復(fù)用要解決共享內(nèi)存資源的分配，DMA數(shù)據(jù)緩沖區(qū)大小為128x4MB。為達到資源利用最大化及公平性，每一次虛擬傳輸通道的建立與斷開都要為現(xiàn)存的每一路傳輸通道重新計算和分配DMA數(shù)據(jù)緩沖區(qū)。每一路傳輸通道可用于接收或發(fā)送數(shù)據(jù)的緩沖區(qū)大小計算公式為：128×4/channel total×1/2，其中channel_total為總通道數(shù)。