ay: block;">
在嵌入式工業(yè)設備、消費類娛樂產品和小型計算裝置等多媒體應用中,設計實現、系統效率和高質量編解碼器方面存在著許多挑戰(zhàn),設計人員需要了解如何選擇正確的處理引擎以構建靈活的IP視像系統。本文討論一種基于數字信號處理器的解決方案,可以降低開發(fā)成本,同時保持較高的性能。
許多嵌入式系統面臨的設計挑戰(zhàn)涉及到如何降低設計成本而又不犧牲性能,一些優(yōu)秀的處理器如英特爾80200或德州儀器TMS320C6205之類的DSP也存在這樣的問題。設計人員需要使用有效針對平臺的數據流模型,根據平臺選擇內部循環(huán)優(yōu)化措施,降低計算的復雜程度。這樣才能在性能上得到極大改進,即使是對移動多媒體系統視像驗證模型編碼器(MoMuSys)這樣的開放源代碼視頻MPEG-4編解碼器,也不需要在視像質量方面做出犧牲,另外還可按特定用戶的要求定制編解碼器性能和質量。
PAL和NTSC電視信號分別為25幀/秒和30幀/秒,因此在一個CIF圖像中,編碼器每秒必須處理396×30個宏塊(macroblock)。在一個幀處理期間,對每個宏塊都要從4Y 8×8的塊中計算產生最小誤差MB的運動矢量,然后全誤差MB(即6個模塊)通過離散余弦轉換(DCT)后再進行量化。此外為保持與解碼器同步,編碼器要對所有模塊進行去量化和逆向DCT,以重新構建完全編解碼的視像幀。簡單運動編解碼器運算次數范圍為每秒9,700萬次至億次(表1)。
必須使用半像素運動估計以便從編解碼器中得到合適的視像質量。對于估計所需要的MIPS數來講,在軟件中實現全MPEG-4簡單類系統是非常困難的,如果要用廉價(低于30美元)的DSP實現MPEG-4編解碼器,需大幅降低計算復雜性,這類器件為可用MIPS數設定了一個界限。
將MPEG-4編解碼器用于IP視像系統時,還有一些其它的靈活性和處理要求。系統核心功能是將原始視像信號轉換到壓縮的IP數據包中,最簡單的情況是把模擬攝像頭的IP數據流傳遞到PC機上,然后解壓并向用戶回放出視頻影像。
選擇正確的處理引擎
目前市面上有幾種用于視像壓縮的處理器,它可以作為IP視像系統的一部分。這些處理器分成四類,即專用視像處理器(DVP)、多媒體協處理器(MMCP)、專用編解碼處理器(DCP)和通用信號處理器(GSP),每種都有各自的優(yōu)缺點(表2)。
DVP是在DSP上擴展了專用于視像應用的部分,通常有一個DSP或RISC內核,再加上專用的視像壓縮輔助硬件,如松下的視頻信號處理器VDSP2和擴展8×8視頻通信處理器VCPex。MMCP類似于DVP,但包括聲音壓縮、圖形和其它多媒體擴展功能,如飛利浦的TM32A處理器。DCP指專用硬件,設計用于按MPEG-4之類特定壓縮標準進行編解碼。最后一種GSP是具有擴展指令集的通用DSP,指令集包括專門用于視像壓縮和解壓操作的其它功能,如德州儀器的C6xx系列及BSP-15。
DVP和MMCP專門用于視頻/多媒體,相應有一個硅片開發(fā)成本的問題。由于內部復雜,包含許多壓縮輔助協處理單元,所以這些芯片的軟件開發(fā)費用也相當高。不過它們通常結合了視像采集和轉儲能力,這樣可以去掉額外的外圍電路,降低整個IP視像系統的費用。DCP系統能夠達到很高的性能,但芯片開發(fā)費用高,且編程靈活性很低。
總的來講,我們相信GSP是所有產品中最靈活的,針對多種應用進行大批量生產,所以價格便宜,而且因為簡單,在所有編解碼器中開發(fā)費用最低。缺點是在IP系統中,依然需要視像采集和轉儲方面的硬件。
構建靈活的IP視像系統
在我們選擇的基于DSP的設計中(圖1),來自攝像頭即通過幀采集器得到的數據被送到編解碼處理器的SDRAM中。這里我們用的是德州儀器的C6205 DSP,速度為200MHz,每個時鐘周期可執(zhí)行8個32位指令(高達10次運算)。
該處理器用于對幀采集器提供的原始視像數據進行編碼,主處理器是時鐘為533MHz的Intel 80200,用于執(zhí)行主要任務,從DSP處理器中取得數據并打包,再經過以太網(使用IP)進行網絡發(fā)送。不過考慮到實現編解碼器所需的MIPS數量,應在早期做出決定劃分編解碼器,使主處理器完成數據的熵(即VLE)編碼。
主處理器也運行Linux內核,它的任務還有配置和控制包括DSP在內的所有外圍器件。整個系統在內部通過PCI總線進行通信,之所以用PCI作為嵌入式總線架構是因為其應用歷史悠久,公認比較穩(wěn)定,而且易于使用,如果市場需要更大處理能力而增加額外的外圍器件,PCI也很容易擴展。
我們的IP視像系統總體解決方案顯示了高度可升級性。主處理器和DSP處理器都在英特爾和德州儀器各自的長期開發(fā)產品線上,一些新型更快的設計不久就會推出。因為DSP執(zhí)行大多數視像壓縮任務,所以主處理器還有多余的MIPS可供給與視像無關的特殊用戶要求。
此外,該設計在編解碼器實現方面也具有很大靈活性,相比于其它常用方案這里的編解碼器開發(fā)速度非常快,雖然性能上有所欠缺但在簡單性方面進行了彌補,即使更廉價的DSP也有能力運行全幀速率及高質量編解碼器。它可以滿足將來的新標準和更先進的特性,很容易用更高性能的型號來代替,設計更新速度比專用視像處理器快。
GSP還沒有強大到足以滿足非常高性能要求的地步,如高空間分辨率4CIF、16CIF等,不過我們的硬件在設計時已考慮了以后的擴展,現在考慮的其它方案是使用專用DCP替代編解碼器處理器以及轉儲器和采集器,這些未來方案的目標應用是IP數字視像市場上的高性能終端。
C6205 DSP處理器的內核可以并行執(zhí)行8條32位指令,并能以200MHz速度在每個周期執(zhí)行高達10個基本算法操作擴展指令集。具有全并行化特性的內核理論上可以達到1,600MIPS,或2,000MBOPS。但實際上目前任何軟件要達到這一點都是極其困難的,根據上面對編解碼器復雜性的討論可以看到,選擇這樣的處理器將無法執(zhí)行全幀速率MPEG-4編解碼器。
市場的壓力即費用上的考慮使我們只能這樣選,但即使如此,所要求的性能標準即30幀/秒的高質量視像還是能夠達到。DSP內部有64KB程序和數據存儲器,兩者都能配置成高速緩沖存儲器或快速RAM。在我們的平臺上,DSP擴展存儲器接口(EMIF)連在16MB的SDRAM上。
為測試我們的設計,我們使用移動多媒體系統視像驗證模型編碼器。這個MPEG-4編碼器從來就不是一個高性能編碼器,但卻是由國際標準化組織(ISO)提供的,作為MPEG-4編解碼器開發(fā)和質量指導。
編解碼器代碼首先簡化為生成MoMuSys MPEG-4簡單類編碼器所需的最簡值。為了事先對任務有一個概念,先將現在更容易管理的基本代碼下載到DSP的SDRAM中并執(zhí)行,并將內部數據和程序存儲器配置成高速緩沖存儲器,所產生的幀速率(MPEG-4量化器值為3,沒有速率控制)對于內部幀約為0.1幀/秒,這個數字不包括VLE處理(圖2)。
VLE之所以不包括在這一測量中是因為我們知道在最終系統中,編解碼器這一部分將在80200主處理器中執(zhí)行,用以平衡總的計算負載。幀間速率沒有作估計,不過由于ME/MC是運動編解碼器一個重要計算部分,所以該性能會比較差,或許要差一個數量級。
此外,僅用一個內部幀編解碼器(負的VLE)也很容易工作,因為該特性與圖像無關,使我們能準確測量DSP的性能。在這點上請注意編解碼器性能比我們需要的30幀/秒之間相差300倍以上。
在標準PC上的MoMuSys MPEG-4簡單類編碼器性能要比上面的設計好幾個數量級,但DSP技術規(guī)范中MIPS部分并不比英特爾奔騰系列處理器差幾個數量級,所以很顯然,DSP內核的能力還沒有完全發(fā)揮出來。
帶寬制約速度
我們懷疑這主要是由于高速緩沖存儲器出現錯誤而影響到SDRAM的訪問速度。雖然除了經過TI編譯器優(yōu)化外,代碼沒有再對DSP內核進行其它優(yōu)化,所以可能沒有達到最優(yōu),但我們還是認為有其它異常因素導致性能降低。后來在檢查產生幀值數據的SDRAM和內部數據RAM(IDRAM)之間帶寬時才找到原因。
MoMuSys是一個基于幀的編解碼器,這表示它以全幀進行每一級編碼,與基于宏模塊的編解碼器不同,它每次都在宏模塊上進行全編碼過程。
單從這一點就可以看到,僅對幀數據一項編碼器就需要大容量SDRAM來處理視像輸入幀。此外,DCT和定量器需要12位數據(用于8位/像素的輸入圖像),因此所有幀都以16位/像素數據格式存儲,這些幀總共要數據存儲器。
對MoMuSys碼的檢查顯示,處理一個幀需要的存儲器大約是2MB,包括幀數據、ACDC預測數據和運動矢量數據。當編碼器工作于PC5時,存儲器使用情況分析顯示它需要8M字節(jié)存儲器用于正常工作。
我們預計每幀存儲器用量很可能在2到8MB之間。在正確設計的高速緩沖存儲器相關系統中,高速緩沖存儲器容量(64KB)和處理1幀所要求的存儲器容量(2～8MB)之間存在著巨大差異,但這一差異本身不會給來自SDRAM的高速緩沖存儲器線路負載性能造成問題。
不過,存儲器訪問空間結構被認為是引起高速緩沖存儲器高失誤率的原因,并因此使性能大大降低。我們在這一級做了深入耗時的高速緩沖存儲器分析,試圖優(yōu)化這一類編解碼器用于DSP。
對于存儲器要求來講,基于宏塊的編解碼器更為有效。此外編解碼器每處理一幀需要訪問大量完全不同的數據,所以設計一個好的帶高速緩沖存儲器的編解碼器是很難的,不管是基于幀還是基于宏塊。因此我們后來決定關閉高速緩沖存儲器,并用完善的DSP可編程DMA引擎來管理SDRAM和內部數據RAM(IDRAM)間數據傳遞。所有DSP內核訪問僅限于內部數據RAM,SDRAM和IDRAM間的DMA處理將與CPU內核存儲器訪問并行執(zhí)行,如果我們在IDRAM上進行旋轉式緩沖器排列,可以假定不會有數據庫沖突。
同樣我們也關閉程序高速緩存操作,另外還做了一些工作保持代碼長度小于64K字節(jié),這也給了我們另外一個理由放棄大部分MoMuSys代碼。
運動估計/運動補償算法是一個有效的專用快速運動估計算法,局限在一個16像素搜索范圍內,顯然與搜索區(qū)域大小緊密相配。所有的幀表達現在都用8比特/像素格式,代碼如果在DCT和量化時還需更進一步精確,我們將提供額外的存儲空間作為IDRAM靜態(tài)預分配區(qū)域。MB以Y1Y3Y2Y4CbCr格式存儲,即將Y3和Y2作了交換。讓DSP的4個可用DMA通道直接存儲器訪問全部MB(6個模塊),并仍保持存儲器中每個相鄰模塊像素排列不變,這樣做很有必要,它也是TI為DSP提供的必須采用的格式用于DCT庫。所有其它程序數據都留在IDRAM內,總計,幾乎沒有什么空間可以備用。較小的IDRAM需要一個稍微不同的數據模型,結果是DMA總線利用更為充分。
這個基于MB的編解碼器所用存儲器帶寬在SDRAM和IDRAM之間,很容易估計,每幀處理需要742KB DMA,5個幀值,這里一幀是352×288×1.5個字節(jié),所以對于每秒30個NTSC幀而言,DMA引擎必須每秒傳遞大約22M字節(jié)的數據,在SDRAM和IDRAM之間的100MHz 32位總線中它將使用大約1/18的帶寬。這完全在TI DSP的DMA性能和我們使用的SDRAM界限內,我們的32位可尋址SDRAM時鐘為100MHz,每排訪問損失的SDRAM時鐘小于5個,相當于10個DSP時鐘周期。
從這一點可以看到數據模型已按IDRAM的大小作了修改,對DSP訪問進行了優(yōu)化處理,但卻沒有充分利用DMA。該數據模型在速度性能上的改進如果沒有重要配置或優(yōu)化條件,則相比于以前的結果是非常令人驚訝的。這一級幀內性能為20幀/秒數量級,即在非常需要存儲器的MoMuSys幀基編解碼器上性能改進了200倍。當加入我們專用的ME/MC子系統時,一般使用一個代碼仿形器,可以看到消耗了30～50%的可用時鐘周期,這時幀間性能估計最壞為10幀/秒。
技術突破
在設計編解碼器中如何獲得最好的并行效果是一個很大的挑戰(zhàn),必須保證DSP內核邏輯單元得到最好應用。在多數情況下,這要留給非常強大的DSP優(yōu)化器來做,但TI的編輯器也包含了用于軟件循環(huán)流水操作的算法。
編解碼器實現一般包含許多圍繞像素的循環(huán)內容,這些循環(huán)又在模塊、MB或幀中,所以它們非常適合進行優(yōu)化,一個循環(huán)的流水作業(yè)意味著兩個或更多循環(huán)反復將并行執(zhí)行。TI編輯器在其流水作業(yè)性能上提供反饋以便在過程中提供幫助,如果某些DSP內核邏輯單元利用不足或過度,常常可用再排列或再設計循環(huán)來糾正,并減少執(zhí)行中的循環(huán)數。
用上述方法進一步優(yōu)化,即使用TI仿形器和TI DSP編輯器反饋選件,可以使性能改進高達7倍,達到140幀間/秒的速率。在我們能夠發(fā)現的最具計算挑戰(zhàn)性的圖像方面,最優(yōu)ME/MC結果在幀內處理速率可達31幀/秒。
采用上述方法獲得的性能改進非常可觀,并顯示出在DSP上對編解碼器進行編程的原始方法很可能在代碼中極少用到DSP的真正性能,好的數據流模型和對DSP內核性能的認識使我們能極大改進性能。
另外還需要做很多工作減少計算的復雜性,因為廉價DSP沒有足夠的MIPS解決編解碼器壓縮問題,不過仍有可能在圖像質量方面獲得更好性能,得到一個速度保持為30幀/秒,且具有CIF分辨率的實時商用級編解碼器。
相關鏈接
如何在嵌入式電子設備中建立多媒體文件系統
數字視頻應用分類和DSP的選擇策略
如何實現無線多媒體設備的雙向視頻流傳輸功能
作者:Barry D. McDonald
系統設計師
Indigovision有限公司
