嵌入式軟件測試的十大秘訣

在嵌入式軟件開發(fā)過程中，一般來說，花在測試和花在編碼的時間比為3:1(實(shí)際上可能更多)。這個比例隨著你的編程和測試水平的提高而不斷下降，但不論怎樣，軟件測試對一般人來講很重要。很多年前，一位開發(fā)人員為了在對嵌入式有更深層次的理解，向Oracle詢問了這樣的一個問題:我怎么才能知道并懂得我的系統(tǒng)到底在干些什么呢?　Oracle面對這個問題有些吃驚，因?yàn)樵诋?dāng)時沒有人這么問過，而同時代的嵌入式開發(fā)人員問的最多的大都圍繞“我怎么才能使程序跑的更快”、“什么編譯器最好”等膚淺的問題。所以，面對這個不同尋常卻異乎成熟的問題，Oracle感到欣喜并認(rèn)真回復(fù)了他:你的問題很有深度很成熟，因?yàn)橹挥胁粩嗟厝ド钊肜斫獠庞锌赡懿粩嗟靥岣咚健２⑶襉racle為了鼓勵這位執(zhí)著的程序員，把１０條關(guān)于嵌入式軟件開發(fā)測試的秘訣告訴了他:
1.懂得使用工具
2.盡早發(fā)現(xiàn)內(nèi)存問題
3.深入理解代碼優(yōu)化
4.不要讓自己大海撈針
5.重現(xiàn)并隔離問題
6.以退為進(jìn)
7.確定測試的完整性
8.提高代碼質(zhì)量意味著節(jié)省時間
9.發(fā)現(xiàn)它，分析它，解決它
10.利用初學(xué)者的思維
 
這十條秘訣在業(yè)界廣為流傳，使很多人受益。本文圍繞這十條秘訣展開論述。
 
１.懂得使用工具
　　
　　通常嵌入式系統(tǒng)對可靠性的要求比較高。嵌入式系統(tǒng)安全性的失效可能會導(dǎo)致災(zāi)難性的后果，即使是非安全性系統(tǒng)，由于大批量生產(chǎn)也會導(dǎo)致嚴(yán)重的經(jīng)濟(jì)損失。這就要求對嵌入式系統(tǒng)，包括嵌入式軟件進(jìn)行嚴(yán)格的測試、確認(rèn)和驗(yàn)證。隨著越來越多的領(lǐng)域使用軟件和微處理器控制各種嵌入式設(shè)備，對門益復(fù)雜的嵌入式軟件進(jìn)行快速有效的測試愈加顯得重要。
　　就象修車需要工具一樣，好的程序員應(yīng)該能夠熟練運(yùn)用各種軟件工具。不同的工具，有不同的使用范圍，有不同的功能。使用這些工具，你可以看到你的系統(tǒng)在干些什么，它又占用什么資源，它到底和哪些外界的東西打交道。讓你郁悶好幾天的問題可能通過某個工具就能輕松搞定，可惜你就是不知道。那么為什么那么多的人總是在折騰個半死之后才想到要用測試工具呢？原因很多，主要有兩個。一個是害怕，另一個是惰性。害怕是因?yàn)榧尤霚y試用具或測試模塊到代碼需要技巧同時有可能引入新的錯誤，所以他們總喜歡寄希望于通過不斷地修改重編譯代碼來消除bug,結(jié)果卻無濟(jì)于事。懶惰是因?yàn)樗麄兞?xí)慣了使用printf之類的簡單測試手段。下面來介紹一些嵌入式常用的測試工具。
.源碼級調(diào)試器[Source-level Debugger]
這種調(diào)試器一般提供單步或多步調(diào)試、斷點(diǎn)設(shè)置、內(nèi)存檢測、變量查看等功能，是嵌入式調(diào)試最根本有效的調(diào)試方法。比如VxWorks TornadoII提供的gdb就屬于這一種。
.簡單實(shí)用的打印顯示工具[printf]
printf或其它類似的打印顯示工具估計(jì)是最靈活最簡單的調(diào)試工具。打印代碼執(zhí)行過程中的各種變量可以讓你知道代碼執(zhí)行的情況。但是，printf對正常的代碼執(zhí)行干擾比較大(一般printf占用CPU比較長的時間)，需要慎重使用，最好設(shè)置打印開關(guān)來控制打印。
.ICE或JTAG調(diào)試器[In-circuit Emulator]
ICE是用來仿真CPU核心的設(shè)備，它可以在不干擾運(yùn)算器的正常運(yùn)行情況下，實(shí)時的檢測CPU的內(nèi)部工作情況。像桌面調(diào)試軟件所提供的：復(fù)雜的條件斷點(diǎn)、先進(jìn)的實(shí)時跟蹤、性能分析和端口分析這些功能，它也都能提供。ICE一般都有一個比較特殊的CPU，稱為外合(bond-out)CPU。這是一種被打開了封裝的CPU，并且通過特殊的連接，可以訪問到CPU的內(nèi)部信號，而這些信號，在CPU被封裝時，是沒法“看到”的。當(dāng)和工作站上強(qiáng)大的調(diào)試軟件聯(lián)合使用時，ICE就能提供你所能找到的最全面的調(diào)試功能。但I(xiàn)CE同樣有一些缺點(diǎn)：昂貴；不能全速工作；同樣，并不是所有的CPU都可以作為外合CPU的，從另一個角度說，這些外合CPU也不大可能及時的被新出的CPU所更換。JTAG(Joint Test Action Group)雖然它最初開發(fā)出來是為了監(jiān)測IC和電路連接，但是這種串行接口擴(kuò)展了用途，包括對調(diào)試的支持。AD公司為Blackfin設(shè)計(jì)的Visual Dsp++就支持高速的JTAG調(diào)試。
.ROM監(jiān)視器[ROM Monitor] 
ROM監(jiān)控器是一小程序，駐留在嵌入系統(tǒng)ROM中，通過串行的或網(wǎng)絡(luò)的連接和運(yùn)行在工作站上的調(diào)試軟件通信。這是一種便宜的方式，當(dāng)然也是最低端的技術(shù)。它除了要求一個通信端口和少量的內(nèi)存空間外，不需要其它任何專門的硬件。并提供了如下功能：下載代碼、運(yùn)行控制、斷點(diǎn)、單步步進(jìn)、以及觀察、修改寄存器和內(nèi)存。因?yàn)镽OM監(jiān)控器是操作軟件的一部分，只有當(dāng)你的應(yīng)用程序運(yùn)行時，它才會工作。如果你想檢查CPU和應(yīng)用程序的狀態(tài)，你就必須停下應(yīng)用程序，再次進(jìn)入ROM監(jiān)控器。
.Data監(jiān)視器[Data Monitor]
這種監(jiān)視器在不停止CPU運(yùn)行的情況下不僅可以顯示指定變量內(nèi)容，還可以收集并以圖形形式顯示各個變量的變化過程。
.OS監(jiān)視器[Operating System Monitor]
操作系統(tǒng)監(jiān)視器可以顯示諸如任務(wù)切換、信號量收發(fā)、中斷等事件。一方面，這些監(jiān)視器能夠?yàn)槟愠尸F(xiàn)事件之間的關(guān)系和時間聯(lián)系；另一方面，還可以提供對信號量優(yōu)先級反轉(zhuǎn)、死鎖和中斷延時等問題的診斷。
.性能分析工具[Profiler]
可以用來測試CPU到底耗在那里。profiler工具可以讓你知道系統(tǒng)的瓶頸在那里、CPU的使用率以及需要優(yōu)化的地方。
.內(nèi)存測試工具[Memory Teseter]
可以找到內(nèi)存使用的問題所在，比如內(nèi)存泄露、內(nèi)存碎片、內(nèi)存崩潰等問題。如果發(fā)現(xiàn)系統(tǒng)出現(xiàn)一些不可預(yù)知的或間歇性的問題，就應(yīng)該使用內(nèi)存測試工具測測看。
.運(yùn)行跟蹤器[Execution Tracer]
可以顯示CPU執(zhí)行了哪些函數(shù)、誰在調(diào)用、參數(shù)是什么、何時調(diào)用等情況。這種工具主要用于測試代碼邏輯，可以在大量的事件中發(fā)現(xiàn)異常的那些。
.覆蓋工具[Coverage Tester]
主要顯示CPU具體執(zhí)行了那些代碼，并讓你知道那些代碼分支沒有被執(zhí)行到。這樣有助于提高代碼質(zhì)量并消除無用代碼。
.GUI測試工具[GUI Tester]
很多嵌入式應(yīng)用帶有某種形式的圖形用戶界面進(jìn)行交互，有些系統(tǒng)性能測試足根掘用戶輸入響應(yīng)時間進(jìn)行的。GUI測試工具可以作為腳本工具有開發(fā)環(huán)境中運(yùn)行測試用例，其功能包括對操作的記錄和回放、抓取屏幕顯示供以后分析和比較、設(shè)置和管理測試過程(Rational公司的robot和Mercury的Loadrunner工具是杰出的代表)。很多嵌入式設(shè)備沒有GUI，但常?？梢詫η度胧皆O(shè)備進(jìn)行插裝來運(yùn)行GUI測試腳本，雖然這種方式可能要求對被測代碼進(jìn)行更改，但是節(jié)省了功能測試和回歸測試的時間。
.自制工具[Home-made tester]
在嵌入式應(yīng)用中，有時候?yàn)榱颂囟ǖ哪康?，需要自行編寫一些工具來達(dá)到某種測試目的。本人曾經(jīng)編寫的視頻流錄顯工具在測試視頻會議數(shù)據(jù)流向和變化上幫了大忙,幫公司找到了幾個隱藏很深的bug。
 
２.盡早發(fā)現(xiàn)內(nèi)存問題 
　　內(nèi)存問題危害很大，不容易排查，主要有三種類型:內(nèi)存泄露、內(nèi)存碎片和內(nèi)存崩潰。對于內(nèi)存問題態(tài)度必須要明確，那就是早發(fā)現(xiàn)早“治療”。在軟件設(shè)計(jì)中，內(nèi)存泄露的“名氣”最大，主要由于不斷分配的內(nèi)存無法及時地被釋放，久而久之，系統(tǒng)的內(nèi)存耗盡。即使細(xì)心的編程老手有時后也會遭遇內(nèi)存泄露問題。有測試過內(nèi)存泄露的朋友估計(jì)都有深刻地體驗(yàn)，那就是內(nèi)存泄露問題一般隱藏很深，很難通過代碼閱讀來發(fā)現(xiàn)。有些內(nèi)存泄露甚至可能出現(xiàn)在庫當(dāng)中。有可能這本身是庫中的bug，也有可能是因?yàn)槌绦騿T沒有正確理解它們的接口說明文檔造成錯用。
　　在很多時候，大多數(shù)的內(nèi)存泄露問題無法探測，但可能表現(xiàn)為隨機(jī)的故障。程序員們往往會把這種現(xiàn)象怪罪于硬件問題。如果用戶對系統(tǒng)穩(wěn)定性不是很高，那么重啟系統(tǒng)問題也不大；但，如果用戶對系統(tǒng)穩(wěn)定很高，那么這種故障就有可能使用戶對產(chǎn)品失去信心，同時也意味著你的項(xiàng)目是個失敗的項(xiàng)目。由于內(nèi)存泄露危害巨大，現(xiàn)在已經(jīng)有許多工具來解決這個問題。這些工具通過查找沒有引用或重復(fù)使用的代碼塊、垃圾內(nèi)存收集、庫跟蹤等技術(shù)來發(fā)現(xiàn)內(nèi)存泄露的問題。每個工具都有利有弊，不過總的來說，用要比不用好?？傊?，負(fù)責(zé)的開發(fā)人員應(yīng)該去測試內(nèi)存泄露的問題，做到防患于未然。
　　內(nèi)存碎片比內(nèi)存泄露隱藏掛睢Ｋ孀拍詿嫻牟歡戲峙洳⑹頭?，蠢洐壴熸矚g戲紙馕】檳詿媯傭緯傷櫧枚彌?，禂黎要申请蠢洐壴熸薁楷愉\贍芫突崾О?。染J低襯詿婀淮螅敲醇岢值氖奔浠岢ひ恍?，但租倵９事N硬懷齜峙涫О艿畝蛟恕Ｔ謔褂枚峙淶南低持?，脑熸藱浆经常发生。臍ぐ，金q穌飧鑫侍庾钚У姆椒ň褪鞘褂霉ぞ咄