WinCE線程和內存管理

　　同其它Windows操作系統(tǒng)一樣，Windows CE.NET也支持32位虛擬內存機制、按需分配內存和內存映射文件等。但是與其它Windows操作系統(tǒng)又有明顯的不同。畢竟Windows CE是一種嵌入式實時性的操作系統(tǒng)，在內存管理方面必須要比其它Windows操作系統(tǒng)更節(jié)約物理內存和虛擬地址空間。在內存管理API方面，為了便于移植程序，Windows CE和其它Windows操作系統(tǒng)函數(shù)聲明基本一致，這使一個在其它Windows下開發(fā)的程序員可以直接使用早就熟悉的API函數(shù)， 但是CE下內存管理的原理開發(fā)者還是應該熟悉的。

　　1、ROM和RAM

　　對于早期采用的存儲設備一般采用ROM ＋ RAM ，在ROM中存放的所有文件可以是壓縮的也可以是不壓縮的，這取決于OEM（原始設備制造商）。OEM在定制CE內核時可以設置一個標志告訴ROM鏡像制作工具（romimage.exe）是否壓縮文件。對于ROM中存放的模塊（DLL、EXE文件）來說，如果是壓縮的，模塊在運行前先解壓并全部存放到RAM中。如果是不壓縮的，并且ROM介質支持線性訪問（line-accessed），就可以本地執(zhí)行（executed in place，縮寫為XIP）。利用本地執(zhí)行方式運行應用程序、DLL的優(yōu)點是：采用這種技術在加載EXE或DLL時，其中的代碼段數(shù)據(jù)不加載到物理內存中，內核只是分配虛擬地址空間給代碼段，當執(zhí)行代碼時內核會到實際存放在ROM存儲設備上的文件中尋找代碼并執(zhí)行。采用這樣的技術既可以節(jié)省可用內存又可以減少加載的時間。但是這種技術有一定的局限性，如果要讓CPU到ROM中去尋找代碼執(zhí)行，那么ROM介質必須支持線性訪問，這就要求ROM介質支持線性訪問，而不是塊訪問。XIP這種加載方式的缺點就是執(zhí)行速度相對較慢，CPU訪問ROM的速度肯定遠慢于訪問RAM的速度。

　　基于Windows CE的產品開始采用FLASH、IDE等永久存儲設備時，內核鏡像（.bin）和其它應用程序文件開始存放到永久存儲設備中而不是ROM中，這不僅僅是因為硬盤或者FLASH的I/O速度比ROM快，更因為現(xiàn)在的內核包含的功能多并且文件數(shù)量增加，因而需要的存儲空間很大，一般都在20MB左右。再加上其它開發(fā)商開發(fā)的應用程序文件，要求的空間就更大了。CE啟動時內核鏡像由加載程序解壓并將系統(tǒng)文件加載到RAM的NK，NK是在config.bib中定義的一段RAM區(qū)域，專用于保存內核鏡像解壓出來的所有文件。Windows CE將NK看作是ROM，當執(zhí)行一個應用程序時，CE內核將這個應用程序需要的系統(tǒng)DLL（在NK中保存）加載到Slot 1（地址范圍0x0200 0000－0x03FF FFFF，在Windows CE.NET中Slot 1專用于XIP DLL使用）。Slot 1是一段虛擬地址，當CPU執(zhí)行DLL的代碼時，CPU會根據(jù)地址映射關系到NK中尋找實際的代碼執(zhí)行，因為NK是一段實際的物理內存，I/O速度非?？?，所以相對于在ROM中執(zhí)行，DLL的運行效率得到很大提高。

　　非XIP DLL在加載時CE內核會在調用DLL的進程的地址空間中申請足夠大的地址空間，并且執(zhí)行代碼時按需提交物理內存。

　　RAM和ROM文件系統(tǒng)是Windows CE默認的文件系統(tǒng)。RAM文件系統(tǒng)的優(yōu)點是支持文件壓縮、支持事務機制（和數(shù)據(jù)庫中的事務機制相似）、數(shù)據(jù)I/O較快。Windows CE.NET啟動時把除了NK以外的RAM分為對象存儲（object store）區(qū)域和應用程序內存（program memory）區(qū)域，并且默認各使用一半RAM。在基于Windows CE的設備沒有采用永久存儲器之前，對象存儲的作用相當于永久存儲器，對象存儲區(qū)域采用RAM文件系統(tǒng)來保存文件，對象存儲中可以存儲的對象類型有文件、目錄、數(shù)據(jù)庫、記錄、數(shù)據(jù)庫卷。默認在對象存儲中存儲的對象全部是壓縮的。當整個系統(tǒng)關閉時，設備的電源還繼續(xù)提供電力給RAM，這樣對象存儲中保存的所有數(shù)據(jù)就不會丟失。應用程序內存區(qū)域留給所有應用程序運行時使用?；赪indows CE的設備采用永久存儲器后，對象存儲的作用就被永久存儲器替代了，所以采用永久存儲器后，應該減小對象存儲區(qū)域的大小。如果定制的Windows CE的內核包含了資源管理器（explorer.exe），那么打開“控制面板”，在“系統(tǒng)”－“內存”中，可以調節(jié)這兩個存儲區(qū)域的比例?；瑝K向左，則釋放對象存儲區(qū)域的一些可用內存并將這些內存劃到應用程序內存區(qū)域中?；瑝K向右則相反。

　　2、內存結構

　　Windows CE.NET只能管理512MB的物理內存和4GB大小的虛擬地址空間。不同的CPU內存管理方法也不同。對于MIPS和SHX系列CPU來說，物理地址映射是由CPU完成的，CE內核可以直接訪問512MB的物理內存。對于x86系列和ARM系列的CPU來說，在內核啟動過程中它會將現(xiàn)有物理內存地址全部映射到0x8000 0000以上的虛擬地址空間中供內核以后使用。OEM可以通過OEMAddressTable來詳細定義虛擬地址和物理地址的映射關系。OEMAddressTable本身并不是一個文件，它只是存在于其它文件中描述虛擬地址和實際物理地址的映射關系的數(shù)據(jù)。比如文件oem init.asm中包含一段代碼：dd 80000000h, 0, 04000000h 。它表示將整個物理地址（0x0400 0000＝64MB）共64MB映射到虛擬地址從0x8000 0000到0x8400 0000中。關于OEMAddressTable我將在以后關于PB的文章中講述。

　　整個4GB虛擬地址空間主要劃分為兩部分，從0x8000 0000以上為內核使用部分，0x8000 0000以下為應用程序使用部分。詳細見下表：

圖1 Windows CE.NET內存結構

　　3、進程地址空間結構

　　進程地址空間結構如圖2所示。這個圖源至MSDN。Windows CE.NET同以前版本的Windows CE操作系統(tǒng)在進程地址空間上有所不同，以前的Windows CE把XIP DLL也加載到進程的32MB地址空間中，而Windows CE.NET把XIP DLL單獨加載到Slot 1中，這樣對于每個進程來說，它總的地址空間就大了一倍，也就是64MB。這個問題我在講解進程的時候提到過。

　　當一個應用程序啟動時，內核為這個程序選擇一個空閑的槽（Slot），并且加載所有的代碼、資源，并分配堆棧，加載DLL等。當這個進程得到CPU使用權時，它的整個地址空間被內核映射到Slot 0，也就是當前進程使用的地址空間，然后開始運行。圖中給出的地址實際上是經過映射到Slot 0之后的結構。從圖中可以看出，進程首先加載代碼段，因為每個進程最低部64KB作為保留區(qū)域，所以代碼段從0x0001 0000開始，內核為代碼段分配足夠的虛擬地址空間后，接著分配空間為只讀數(shù)據(jù)和可讀/可寫數(shù)據(jù)，接著分配空間為資源數(shù)據(jù)，之后分配空間為默認堆和棧。非XIP DLL從進程最高地址向下開始加載。非XIP DLL的加載按如下規(guī)則：內核先檢查要加載的DLL是否被其它進程加載過，如果加載過，就做一個地址的重定位。這樣就避免了整個系統(tǒng)內多次加載相同DLL。如果沒有加載過，就按照從槽的高地址到槽的低地址的順序查找空閑的地址空間。然后分配足夠的地址空間用于加載DLL。因為每個進程在執(zhí)行前都要映射到Slot 0，而且進程使用的所有DLL可能來自不同的槽（Slot），為避免所有使用的DLL在映射到Slot 0中出現(xiàn)地址空間沖突的現(xiàn)象，內核的加載器（Loader）在加載DLL時會查找所有槽中加載的DLL的地址，保證在映射到Slot 0時不會發(fā)生地址沖突現(xiàn)象。假如系統(tǒng)內有兩個進程，進程A只加載了DLL A，進程B需要加載DLL A和DLL B，那么進程B會留出DLL A的地址空間，然后加載DLL B，也就是說進程B映射到Slot 0時，DLL A的地址空間和DLL B的地址空間是相鄰的，不會發(fā)生沖突。好在Windows CE下DLL都很小，而且一個應用程序使用的DLL多數(shù)是系統(tǒng)的DLL（存在于Slot 1）。所以目前來看進程的地址空間還夠用。

圖2 進程地址空間結構

 　　4、堆和棧

　　堆是一段連續(xù)的較大的虛擬地址空間。應用程序在堆中可以動態(tài)地分配、釋放所需大小的內存塊。利用堆的優(yōu)點是在一定范圍內減小了內存碎塊。而且開發(fā)者分配內存塊前不必去了解CPU的類型。因為不同的CPU分頁大小不相同，每個內存頁可能是1KB、4KB或更多。在堆內分配內存塊可以是任意大小的，而直接分配內存就必須以內存頁為單位。當一個應用程序啟動時，內核在進程所在的地址空間中為進程分配一個默認192KB大小的虛擬地址空間，但是并不立刻提交物理內存。如果在運行當中192KB不能滿足需求，那么內核會在進程地址空間中重新查找一個足夠大小的空閑的地址空間，然后復制原來堆的數(shù)據(jù)，最后釋放原來的堆所占的地址空間。這是因為默認的堆的高地址處還有棧，所以必須重新分配一個。Windows CE.NET的堆有明顯的缺點，不同于其它Windows操作系統(tǒng)下的堆管理，在Windows CE.NET創(chuàng)建的堆中創(chuàng)建的內存塊不能夠移動，多次創(chuàng)建內存塊、釋放內存塊會產生內存碎塊，這樣的話當需要分配一個大一點的連續(xù)的內存塊時，本來空閑的內存塊加起來足夠用，但是這些內存塊是分隔的，不符合要求。像Windows 2000或98的內核會頻繁的移動分散的正使用的內存塊，使它們聚集在一起。這也是為什么有時需要句柄而不用指針的原因。由于Windows CE.NET的堆的缺點，開發(fā)者如果要頻繁的在堆中創(chuàng)建、釋放內存塊的話，最好自己創(chuàng)建一個單獨的堆，而不用默認的堆。而且我還建議最好直接在全局地址空間中（0x4200 0000到0x7FFF FFFF）分配所需地址空間。因為進程地址空間可用的實在太小了。關于堆函數(shù)我在這就不多說了，和其它Windows操作系統(tǒng)堆API基本一致。請參考幫助文檔。

　　棧也是一段連續(xù)的虛擬地址空間，和堆相比空間要小的多，它是專為函數(shù)使用的。當調用一個函數(shù)時（包括線程），內核會產生一個默認的棧，并且內核會立刻提交少量的物理內存（也可以禁止內核立刻提交物理內存）。棧的大小和CPU有關，一般為64KB，并且保留頂部2KB為了防止溢出?？梢孕薷臈５拇笮。唧w修改方法在講解線程的時候已經說過了，這里就不再重復了。修改棧的大小一般時候不會發(fā)生，如果采用在編譯鏈接時修改大小，那么所有棧的大小都會改變，這不太合理。實際開發(fā)中最好不要在棧中分配很大、很多的內存塊，如果分配的內存塊超過了默認棧的限制，那么會引起訪問非法并且內核會立刻終止進程。最好在進程的堆中分配大的內存塊并且在函數(shù)返回前釋放，或者在創(chuàng)建線程時指定棧的大小。

　　5、內存映射文件

　　與虛擬內存一樣，內存映射文件用來保留一個地址空間，并提交物理存儲器。早期的內存映射文件并不是提交物理內存供調用者使用，而是提交永久存儲器上的文件數(shù)據(jù)。當然操作系統(tǒng)會為永久存儲器保留一個讀緩沖區(qū)，這樣讀取文件數(shù)據(jù)就快多了。內存映射文件的特點使它很適合于加載EXE或DLL文件。這樣可以節(jié)省內存又減少了加載所需時間。還可以使用它來映射大容量的文件，這樣就不必在讀取文件數(shù)據(jù)前設置很大的緩沖區(qū)。另外內存映射文件常用于進程間通信，也是進程間通信的主要手段，其它進程之間通信機制都是基于內存映射文件來實現(xiàn)。為了更快的在進程之間通信，現(xiàn)在的內存映射文件也可以提交物理內存，這樣內存映射文件既可以提交物理內存又可以提交文件。
　　Windows CE.NET同樣支持無名和有名的內存映射文件。我建議在開發(fā)軟件的過程中，如果需要讀寫大容量的文件，或者需要在不同進程內的線程之間通信，最好采用內存映射文件，而且最好在全局地址空間內（0x4200 0000到0x7FFF FFFF）分配。這會使我們事半功倍。

　　5.1 映射數(shù)據(jù)文件

　　第一步：調用CreateFileForMapping函數(shù)。在Windows CE.NET中推薦使用這個函數(shù)替代CreateFile函數(shù)。CreateFileForMapping函數(shù)由內核執(zhí)行并創(chuàng)建文件，它也可以打開由CreateFile函數(shù)創(chuàng)建的文件。其參數(shù)同CreateFile相似。參數(shù)1指定文件路徑，注意文件路徑的格式是沒有盤符的，參數(shù)2指定訪問方式（讀或寫），參數(shù)3指定共享模式，參數(shù)4指定安全屬性（必須設置為NULL），參數(shù)5指定是創(chuàng)建還是打開文件，參數(shù)6指定文件屬性，參數(shù)7忽略。具體參數(shù)細節(jié)參見Windows CE.NET幫助。函數(shù)返回創(chuàng)建或者打開的文件的句柄。

　　第二步：調用CreateFileMapping函數(shù)。這個函數(shù)創(chuàng)建一個無名的或者有名的內存映射文件對象。參數(shù)1為文件句柄。這個值由CreateFileForMapping函數(shù)返回。參數(shù)2為安全屬性（必須設置為NULL），參數(shù)3指定要映射的文件的保護屬性（只讀或者讀寫），參數(shù)4和參數(shù)5共同用于指定要映射的文件的大小。文件的容量過大將導致32位整數(shù)也不能表示，所以這里用64位變量表示，其中參數(shù)4為高32位數(shù)，參數(shù)5為低32位數(shù)。最后一個參數(shù)指定內存映射文件的名稱。這里可以設置為NULL，表示不需要名字。

　　第三步：調用MapViewOfFile函數(shù)。這個函數(shù)用于保留一段足夠的地址空間，并且將永久存儲器上的文件數(shù)據(jù)映射到這個地址空間。映射后這段地址空間又叫做文件視圖，映射范圍可以是全部文件，也可以是部分文件。這里需要注意的是如果文件很大，那這個函數(shù)將在全局地址空間內分配地址空間。參數(shù)1指定內存映射文件對象的句柄，這個值由CreateFileMapping函數(shù)返回。參數(shù)2和CreateFileMapping函數(shù)中參數(shù)3很相似，都是用于限定訪問權限。參數(shù)3和參數(shù)4共同用于指定映射區(qū)域的開始位置。其中參數(shù)3為高32位數(shù)，參數(shù)4為低32位數(shù)。參數(shù)5指定映射區(qū)域的大小。需要注意的是參數(shù)3和參數(shù)4指定的64位數(shù)開始位置可以不是64KB的倍數(shù)。而其它Windows操作系統(tǒng)就必須限制以64KB為單位。另外還要注意的是幫助文檔中說不能保證一個文件的映射視圖是連續(xù)的，并建議為了防止訪問非法，應該加入結構化異常處理機制。這個可能性我認為很小，一般對于大于2MB的虛擬地址空間的申請，內核都會在全局地址空間中分配。全局地址空間（0x4200 0000到0x7FFF FFFF）近1GB的空間應該足夠用了。畢竟Windows CE下的文件都很小。不過在代碼中加入結構化異常處理也不是壞事。我們應該養(yǎng)成凡是讀寫文件數(shù)據(jù)時都加入結構化異常處理的習慣。

　　第四步：進行讀/寫操作。MapViewOfFile函數(shù)如果成功執(zhí)行，那么返回映射視圖的首地址。這時就可以把視圖當成是一個緩沖區(qū)，開始讀或寫操作了。

　　第五步：執(zhí)行結束工作。先調用UnmapViewOfFile函數(shù)撤銷文件映射視圖。參數(shù)只有一個，指定視圖首地址。然后調用CloseHandle函數(shù)關閉內存映射文件對象，參數(shù)為句柄。最后再次調用CloseHandle函數(shù)，關閉打開的文件的句柄。

　　5.2 進程之間通信

　　進程之間有時需要通信。系統(tǒng)提供的進程之間的通信機制比如COM、剪貼板等，在底層實現(xiàn)上都是利用內存映射文件技術。其實進程之間通信的思路很簡單，在這里我順便講一下。在其它Windows操作系統(tǒng)中，每個進程獨自占有4GB的地址空間，高2GB是內核的地址空間，而低2GB是進程的地址空間。一個進程所能訪問的所有低2GB地址都是自己的地址空間，當訪問內核地址空間時就會受到內核的限制。這樣一個進程當然無法訪問其它進程了。為解決進程間通信的問題，內存映射文件技術被利用作為解決方案。原來內存映射文件只映射類似磁盤一類的存儲器上的文件。而為了更快速地在進程之間通信，內存映射文件還可以提交物理內存。實現(xiàn)方法是通過訪問同一個內存映射文件對象（映射到物理內存），兩個進程或多個進程就能夠訪問到同一塊物理內存，這樣一個進程寫到物理內存的數(shù)據(jù)，其它進程就能夠看到了。而Windows CE雖然每個進程只占有32MB的地址空間，而且所有進程全部處于4GB的地址空間中，但是彼此還是不能夠隨意訪問的。在Windows CE下除了使用內存映射文件技術外，還有一種方法也很適合使用，就是利用對象存儲。對象存儲本身使用RAM文件系統(tǒng)，用普通的操作文件的API就可以創(chuàng)建、讀取存在于對象存儲區(qū)域內的文件。Windows 目錄就存在于對象存儲區(qū)域內。我們可以利用在Windows目錄下創(chuàng)建文件來實現(xiàn)進程間通信。這種方法既實現(xiàn)簡單，只需調用幾個文件API函數(shù)，又可以減少通信時間，因為Windows目錄存在于物理內存中，數(shù)據(jù)I/O當然很快了。利用對象存儲來實現(xiàn)進程之間的通信是我自己想出來的，MSDN或其它文檔并沒有這方面的說明。需要注意的就是對象存儲區(qū)域的大小。另外從實現(xiàn)的代碼量上看也不如內存映射文件技術。

　　下面講解如何利用內存映射文件實現(xiàn)進程之間的通信。假設進程A和進程B需要通信，那么進程A需要先創(chuàng)建一個內存映射文件（之前不必調用CreateFileForMapping函數(shù)來創(chuàng)建文件，因為不需要創(chuàng)建文件）。這個內存映射文件可以是在永久存儲器中，也可以是在內存中。為了減小通信時間，最好提交物理內存。進程A在調用CreateFileMapping函數(shù)時，參數(shù)1指定為INVALID_HANDLE_VALUE，這表示這個內存映射文件對象將要把物理內存提交到地址空間中。最后一個參數(shù)一定要指定一個名字。進程B也同樣調用CreateFileMapping函數(shù)，而且參數(shù)相同。內核會根據(jù)名字來判斷是否已經存在一個內存映射文件對象，如果創(chuàng)建了就返回原來的對象的句柄。接下去就不用細說了。參照5.1去執(zhí)行就可以了。要注意的是進程B調用CreateFileMapping函數(shù)后要按如下代碼檢驗函數(shù)執(zhí)行結果：

HANDLE hMap;
hMap = CreateFileMapping(INVALID_HANDLE_VALUE,
NULL,
PAGE_READWRITE,
0,
1000,
L"abc");
if (hMap == NULL || GetLastError() != ERROR_ALREADY_EXISTS)
{
　MessageBox(L"create file mapping fail");
　return;
} 

　　6、分配大的虛擬地址空間

　　可以用內存映射文件來分配大的虛擬地址空間。也可以直接調用VirtualAlloc函數(shù)來分配。VirtualAlloc函數(shù)是最底層的分配虛擬地址空間的函數(shù)。它會在調用進程內分配符合條件的地址空間并且自動用0初始化提交的存儲器。傳遞一個你希望的虛擬地址空間的首地址給參數(shù)1（如果為0，那么內核自動查找一個符合條件的空間），參數(shù)2為大?。▎挝唬鹤止?jié)），參數(shù)3為分配類型（提交還是保留），參數(shù)4為保護標志（只讀、讀寫、執(zhí)行等）。函數(shù)返回分配的地址空間的首地址。在進程地址空間中每個分配的塊有三種狀態(tài)：可用、保留、提交。參數(shù)3就是指明塊的狀態(tài)。我在做實驗時發(fā)現(xiàn)，給參數(shù)1傳遞非0值均不成功，即使傳遞0給參數(shù)1讓內核自動查找，得到的返回值再次用于參數(shù)1也不成功。釋放這個虛擬地址空間調用VirtualFree函數(shù)。VirtualFree函數(shù)參數(shù)1指定首地址，參數(shù)2指定大小，參數(shù)3指定釋放類型（撤銷提交、釋放）。函數(shù)成功返回真，失敗返回假。參數(shù)3有兩個標志，并且不能復合。當指定撤銷提交標志（MEM_DECOMMIT）時，函數(shù)將取消這個虛擬地址空間的物理內存的映射，但是保留這塊虛擬地址空間。如果這個虛擬地址空間沒有提交函數(shù)也不會失敗返回。當指定釋放標志（MEM_RELEASE）時，如果這塊虛擬地址空間含有同樣的標志（保留或者提交）。函數(shù)將釋放這塊虛擬地址空間。如果這個虛擬地址空間有一部分提交了，其它部分沒有提交，那么必須先調用此函數(shù)，并傳遞撤銷提交標志，先將提交的這部分取消物理內存映射。然后再次調用此函數(shù)，傳遞釋放標志。這樣整個虛擬地址空間就都能夠釋放了。關于虛擬地址空間還有其它函數(shù)，比如VirtualQuery、VirtualProtect。在這里就不介紹了，請參見Windows CE.NET幫助。

　　作者注：

　　《進程、線程和內存管理》講解的內容是我根據(jù)以前在PC機Windows操作系統(tǒng)中掌握的相關知識，又查看了Windows CE.NET的幫助文檔和MSDN中Technical Articles和knowledge Base而得出的結論。遺憾的是Windows CE.NET的幫助文檔介紹的太簡單，我只能把掌握的知識和查看到的知識相結合，另外我還做了一些實驗。我感謝瀏覽此文章的各位Windows CE下開發(fā)者，如果你們認為有哪些地方說的不正確的，希望指出來讓我改正錯誤。讓更多的人看到的是準確無誤的文章。

　　付林林：畢業(yè)時間：2001年，專業(yè)：計算機。從畢業(yè)起一直從事軟件開發(fā)工作。目前從事 Windows CE 下操作系統(tǒng)內核定制和應用程序開發(fā)。在兩年的時間里積累了CE下開發(fā)的一點點經驗。希望和 CE 下開發(fā)者交流、探討，更希望你們能不吝賜教。