嵌入式系統(tǒng)中的線性Flash文件系統(tǒng)設(shè)計

作者： WuYJ@263.net.cn

摘要：設(shè)計一種能夠在典型嵌入式環(huán)境下應用的線性文件系統(tǒng)，為嵌入式系統(tǒng)Flash空間的管理提供一種非常有效的手段。它包裝和通用文件系統(tǒng)類似的API接口，設(shè)計的實現(xiàn)獨立于實時操作系統(tǒng)（RTOS）和具體的Flash典型，可方便移植到不同的嵌入式應用中。

在嵌入式系統(tǒng)中，為了便于對閃存（Flash）空間進行管理，會采用文件的形式來訪問Flash。目前，可以購買到的Flash文件系統(tǒng)一般都是兼容DOS的文件系統(tǒng)（Flash File System，F(xiàn)FS），這對需要一個具有復雜的目錄層次，并且DDS文件兼容的系統(tǒng)來說是必要的；但是對大多數(shù)的嵌入式應用來說，這種文件系統(tǒng)太過奢侈。筆者在參與嵌入式系統(tǒng)項目的時候，設(shè)計了一種線性文件系統(tǒng)，它適用于大多數(shù)的嵌入式應用對Flash文件系統(tǒng)的需求。

線性文件系統(tǒng)設(shè)計基于三個目標：一是提供給應用程序通過文件名而不是物理地址訪問系統(tǒng)Flash的能力；二是文件系統(tǒng)的設(shè)計獨立于實時操作系統(tǒng)（RTOS），這樣可以很容易移植到不同的嵌入式應用中；三是設(shè)計統(tǒng)一的底層接口，適應不同的Flash類型。本文設(shè)計的線性文件系統(tǒng)為典型的嵌入式系統(tǒng)提供了所需的類文件系統(tǒng)能力。需要注意的是，本文件系統(tǒng)不支持復雜的Flash扇區(qū)擦寫次數(shù)均衡算法，沒有目錄層次，并且和其它的文件系統(tǒng)不兼容。

1 線性文件系統(tǒng)

線性文件系統(tǒng)的設(shè)計思路是這樣的：文件分為文件頭和文件數(shù)據(jù)區(qū)兩個部分，每個文件按照順序存放在Flash中，以單向鏈表來鏈接文件。文件的起始部分是文件頭，包含文件的屬性、指向下一個文件頭的指針、文件頭和文件數(shù)據(jù)區(qū)的32位循環(huán)冗余校驗和（CRC32）等。文件頭用一個32位的字來表示文件屬性，每位表示一種屬性，如數(shù)據(jù)文件或者是可執(zhí)行文件，是否已刪除的文件等，具體可以根據(jù)應用的需要來定義文件的屬性；文件頭和文件數(shù)據(jù)區(qū)維護獨立的CRC32校驗，使文件系統(tǒng)能更精確檢測文件的完整性。文件的起始地址沒有特殊需求，分配給文件系統(tǒng)的Flash大小限制了文件的大小。另外，線性文件系統(tǒng)作為嵌入式系統(tǒng)的一個功能模塊，它為應用程序提供與標準文件系統(tǒng)類似的API接口，如：read()、write()、open（）、close()、stat()和seek（）等。對于同時在多片F(xiàn)lash的系統(tǒng)而言，每片F(xiàn)lash相當于一個目標，文件都可存儲在任何一片中（當然受物理空間限制），但不能跨片存儲。

圖1 Flash文件系統(tǒng)空間

在第一個文件創(chuàng)建之前，必須進行初始化，將所有分配給文件系統(tǒng)的Flash空間擦除。當創(chuàng)建第一個文件時，起始位置從文件系統(tǒng)的起始地址開始，文件頭指針指向下一個空文件的起始位置（鏈表尾部）；第二個文件的位置從當前的鏈表尾部開始，同時文件頭中的鏈表指針指向新的尾部。刪除文件時，僅僅是簡單地把文件頭的標識位中的活動文件標識位置0，表示刪除。這樣，在經(jīng)過多次刪除之后，就有必要運行碎片整理模塊來進行文件系統(tǒng)Flash空間的碎片整理。碎片整理模塊還需要在文件系統(tǒng)Flash空間尾部留一個扇區(qū)來數(shù)據(jù)備份，以便當碎片整理被打斷時（如下電或者復位）可以恢復文件系統(tǒng)。這個保留的扇區(qū)稱空閑扇區(qū)。它必須放在文件系統(tǒng)空間之后，這樣可以保證文件系統(tǒng)的所有文件在所占用的Flash空間是連續(xù)的。整個文件空間的分配如圖1所示。

陰影部分是文件頭，數(shù)據(jù)結(jié)構(gòu)如下：

struct hdr{

unsigned short hdrsize; /*文件頭字節(jié)數(shù)*/

long filsize; /*文件頭版本*/

long filsize; /*文件大小*/

long flags; /*描述文件的標識*/

unsigned long filcrc； /*文件數(shù)據(jù)的CRC32的值*/

unsigned long hdrcec; /*文件的最后修改時間*/

struct hdr *next; /*指向下一個文件頭的指針*/

char name[NAMESIZE]; /*文件名*/

char info[INFOSIZE]; /*文件描述信息*/

};

碎片整個記錄區(qū)包含兩種數(shù)據(jù)類型：碎片整理文件頭信息表defraghdr和文件區(qū)扇區(qū)整理前后的CRC值備份表sectorcre。具體的地址分配從空閑扇區(qū)的起始地址減1開始，往前分配文件系統(tǒng)扇區(qū)數(shù)乘以4字節(jié)作為sectorcrc的空間；從sectorcrc起始地址減1開始，往前分配活動文件個數(shù)乘以64字節(jié)作為碎片整理文件頭信息表。這兩個結(jié)構(gòu)定義如下：

struct defraghdr{

struct hdr *ohdr; /*文件頭的原始位置指針*/

struct hdr *nextfile; /*指向下一個文件的指針*/

long filsize; /*文件大小*/

unsigned long crc; /*這個頭的CRC32值*/

unsigned long ohdrcrc; /*原始文件頭CRC32值的拷貝*/

long idx; /*碎片整理表頭的索引*/

long nesn; /*新的文件尾的扇區(qū)號*/

long neso; /*新的文件尾的扇區(qū)偏移量*/

char *nda; /*新的文件起始地址*/

char fname[NAMESIZE]; /*文件名*/

};

struct sectorcrc{

unsigned long precrc; /*碎片整理前扇區(qū)數(shù)據(jù)CRC32的值*/

unsigned long postcrc; /*碎片整理后扇區(qū)數(shù)據(jù)CRC32的值*/

}；

從上面介紹可知，除了文件數(shù)據(jù)之外，文件系統(tǒng)還需要如下4種額外的開銷。

①文件頭：這是每個文件必須的開銷，如果文件名和信息域各24字節(jié)，那么整個文件頭共76字節(jié)。

②碎片整理文件頭信息表：每個活動（非刪除）的文件在進行碎片整理時在這個表里創(chuàng)建一個表項，每個表項64字節(jié)。

③碎片整理前后的扇區(qū)CRC32值表：保存文件整理前后的CRC32值，總的字節(jié)數(shù)約為文件所占扇區(qū)數(shù)的4倍。

④空閑塊：用來在碎片整理過程中備份當前整理扇區(qū)數(shù)據(jù)。它必須不小于文件系統(tǒng)其它所有扇區(qū)。

可以用下面方程計算系統(tǒng)開銷的總和：

overhead=(FTOT*(HDRSIZE+64))+SPARESIZE+(SECTORCOUNT*8)

其中：

FTOT是總的文件數(shù)；

HDRSIZE是文件頭字節(jié)數(shù)（目前為76字節(jié)）；

SPARESIZE是空閑塊的大小；

SECTORCOUNT是分配給文件系統(tǒng)的Flash扇區(qū)數(shù)，不包括空閑塊。

圖2 文件碎片整理

2 碎片整理

創(chuàng)建新文件需要占用文件系統(tǒng)空間；但是，由于Flash的底層技術(shù)不允許Flash中的任意地址空間被刪除，而是按照扇區(qū)為單位刪除，為此在刪除一個文件的時候，暫時沒有把整個文件所占的空間刪除，僅僅是在文件頭的標識里作一個刪除標識，并保留在Flash中。這樣，被刪除文件積累到一定的數(shù)量時，就會占用相當大的空間。因此，需要整理文件系統(tǒng)Flash空間，使被刪除文件占用的空間重新使用。圖2顯示了碎片整理過程。文件F1、F2和F5已經(jīng)被刪除，并且在碎片整理之后從Flash中被清除。

進行碎片整理的方法可以有多種。對于嵌入式系統(tǒng)來說，選擇哪種方法，衡量的依據(jù)是復雜性和功能之間的平衡。下面討論兩種不同的方法：第一種方法相當簡單，但是有缺陷；第二種方法功能強大得多，筆者在線性文件實現(xiàn)中即采用這種方法。當然，存在更加復雜的解決辦法，但通常的情況是，所添加的復雜性會使整個文件系統(tǒng)的實現(xiàn)更加復雜。目標是保持文件存儲的簡單和線性，保證所有的文件都是以連續(xù)的空間存儲在Flash中。

最簡單的方法是將活動的文件備份在RAM中，刪除分配給文件系統(tǒng)的Flash空間，然后將RAM中備份的所有文件拷貝回Flash。這種方法很簡單，并且不需要分配一個扇區(qū)作為空閑區(qū)；但問題是，需要有一整塊和分配給文件系統(tǒng)的空間一樣大的RAM來完成這項工作。更糟的是，如果此時系統(tǒng)被復位，或者在刪除扇區(qū)內(nèi)容卻還沒有將文件拷貝回Flash的時候被斷電，文件系統(tǒng)將會崩潰。因為RAM中的內(nèi)容會隨之選擇，文件內(nèi)容會被破壞掉。

我們在文件系統(tǒng)實現(xiàn)設(shè)計了一種碎片整理方法，可以防止在碎片整理過程中系統(tǒng)復位導致文件崩潰的情況。采用這種方法，不需要大塊的RAM，但是需要預選先分配給碎片整理過程一個Flash扇區(qū)作為備份區(qū)。這個扇區(qū)的字節(jié)數(shù)不小于任何分配給文件系統(tǒng)的扇區(qū)。在整個文件系統(tǒng)中，這個扇區(qū)位于分配給文件系統(tǒng)最后一個扇區(qū)的下一個扇區(qū)。因為扇區(qū)可能比需要分配給非刪除文件的備份的空間要小，所以它必須逐個扇區(qū)進行處理，而不是一下就把所有的碎片整理完。采用備份扇區(qū)的好處是，在碎片整理過程中，無論斷電或者復位都不會破壞文件系統(tǒng)。當下次系統(tǒng)重新恢復時，會根據(jù)在碎片整理前記錄的每個扇區(qū)碎片整理前后CRC值，來判斷當前的文件碎片整理狀態(tài)。如果上次文件整理沒有完成，就會繼續(xù)上次的整理。這種技術(shù)的一個缺陷是空閑扇區(qū)的擦寫次數(shù)會較多。這樣空閑扇區(qū)就可能因為達到擦寫壽命而失敗。達到這一點的關(guān)鍵依賴于使用的Flash、所分配給文件系統(tǒng)的扇區(qū)數(shù)、文件刪除和重建的頻率。一個可行的解決辦法采用電池備份的RAM來替換空閑扇區(qū)，可以增加Flash的整體壽命，但是對那些預算緊張的應用來說太過奢移。

具體的碎片整理過程是，首先建立碎片整理區(qū)。①為每個扇區(qū)建立2個CRC32表項；第一個CRC32是這個扇區(qū)在碎片整理前的CRC值；第二個CRC32值是計算出來的碎片整理后的CRC32值。這些CRC是當碎片整理過程被打斷時，用來重新恢復整理用的。②創(chuàng)建碎片整理文件頭信息表，每個活動的文件占用一個表項。③計算①和②的CRC值，并保存。①～③的數(shù)據(jù)保存在圖1中的碎片整理記錄區(qū)。第二步是文件重定位；遍歷文件系統(tǒng)的每個扇區(qū)，處理重新定位后存儲空間和該扇區(qū)相覆蓋的文件。在每個扇區(qū)被重寫之前，扇區(qū)原來的信息被保存在空閑扇區(qū)里。第三步，擦除Flash；遍歷未使用的扇區(qū)，確認所有的扇區(qū)被刪除。第四步，完整性檢測：對新的文件進行檢測，保證所有重定位的文件都是完整的。

3 應用分析

Flash的扇區(qū)有最大擦寫次數(shù)。當前的Flash芯片一般支持10萬～100萬次的擦除。文件系統(tǒng)的應用各不相同，所以這里不能下結(jié)論說采用線性文件系統(tǒng)Flash的壽命會有多長。下面解釋文件系統(tǒng)訪問Flash的方法。這樣用戶可以根據(jù)應用來判斷Flash的預期壽命。

我們所設(shè)計的線性文件系統(tǒng)并不進行扇區(qū)刪除次數(shù)均衡，以延長Flash的使用壽命。如果所需要的文件系統(tǒng)頻繁修改并需要扇區(qū)刪除次數(shù)均衡，可以購買現(xiàn)成的Flash文件系統(tǒng)。扇區(qū)刪除均衡算法大大增加了底層實現(xiàn)的復雜性，并且超出本文的討論范圍。一般來說，通過文件系統(tǒng)來管理Flash的需求遠大于對Flash扇區(qū)擦寫次數(shù)均衡的需求，特別是現(xiàn)在越來越多的Flash扇區(qū)都支持100萬次的擦寫。

如上面所提到的，文件系統(tǒng)本身提供給編程者的接口API與標準OS提供的接口類似。這可能誤導開發(fā)者認為文件系統(tǒng)可以看作是一個硬盤，以任意的頻率進行讀寫操作。事實并不是這樣，線性文件系統(tǒng)碎片整理同制并沒有進行擦寫次數(shù)均衡，這意味著空閑扇區(qū)可能會是最早損壞的Flash扇區(qū)。因為在碎片整理過程中，空閑扇區(qū)被用作其它所有扇區(qū)的暫時存放扇區(qū)。例如在設(shè)計里，有13個扇區(qū)Flash用來作線性文件系統(tǒng)區(qū)，有1個扇區(qū)作為空閑扇區(qū)。假設(shè)對于最壞情況的碎片整理（13個扇區(qū)都影響到），如果每天進行1次碎片整理，對于100 000次擦寫次數(shù)的Flash而言，可用期能夠超過20年（100 000/13/365=21）。20年是基于每天進行1次碎片整理，并且所有扇區(qū)都影響到的情況。碎片整理的頻率和整理所影響到的扇區(qū)數(shù)受應用程序使用文件的限制。用戶可以根據(jù)文件系統(tǒng)的應用來估算Flash扇區(qū)的磨損情況，并作相應的處理。

下面討論文件系統(tǒng)是如何使用扇區(qū)的。Flash扇區(qū)僅僅在碎片整理時候才被擦除。當刪除文件的時候，只是簡單地作一個標識（文件頭的一個位）。如果一個存在的文件以寫的方式打開，實際的修改步驟是，刪除原有的文件，并在當前文件系統(tǒng)的最后一個文件之后重寫該文件。最后，這個過程會使文件系統(tǒng)的Flash空間被耗盡，這要就需要運行碎片整理程序。碎片整理程序會使已被刪除文件所占用的空間被清除，所有活動的文件在Flash中的位置以連續(xù)的方式存放。每個扇區(qū)的整理過程是，扇區(qū)被拷貝到空閑扇區(qū)作備份，然后原來的扇區(qū)被刪除，計算出該扇區(qū)在文件整理后的內(nèi)容，寫入扇區(qū)，之后刪除空閑扇區(qū)的備份。文件系統(tǒng)從頭到尾每個扇區(qū)重復這樣作。在碎片整理時，如果一個扇區(qū)不需要進行碎片整理，碎片整理程序就不會動這個扇區(qū)因此，受碎片整理程序影響的扇區(qū)數(shù)目依賴于當前被文件系統(tǒng)占用的Flash扇區(qū)數(shù)和被刪除文件在Flash中的位置。

在一個典型的嵌入式應用里，文件系統(tǒng)中的可執(zhí)行文件本身就是應用程序?？蓤?zhí)行文件一般是最大的文件，也是最不可能經(jīng)常改變的文件。這意味著執(zhí)行文件所占用的空間是相對固定的，將會減少空閑扇區(qū)因為碎片整理而進行的擦寫次數(shù)。另外一方面，如果有任何文件需要定期改動，碎片整理將會更加頻繁運行。

結(jié)語

本文所設(shè)計的線性文件系統(tǒng)已經(jīng)成功應用在筆者參加的嵌入式系統(tǒng)的產(chǎn)品，并且在實踐中證明是一種比較有效的管理Flash的方式。當然，線性文件系統(tǒng)不是解決所有嵌入式應用管理Flash空間問題的答案，但是它對于那些不能判斷是否要購買現(xiàn)成的Flash文件系統(tǒng)的項目提供了一個非常有用的選擇方案。有關(guān)線性文件系統(tǒng)實現(xiàn)的C源代碼，可以通過E-Mail:WuYJ@263.net.cn直接與筆者聯(lián)系。