DirectShow系統初級指南
流媒體的處理,以其復雜性和技術性,一向廣受工業界的關注。特別伴隨著因特網的普及,流媒體在網絡上的廣泛應用,怎樣使流媒體的處理變得簡單而富有成效逐漸成為了焦點問題。選擇一種合適的應用方案,事半功倍。此時,微軟的DirectShow,給了我們一個不錯的選擇。
DirectShow是微軟公司提供的一套在Windows平臺上進行流媒體處理的開發包,與DirectX開發包一起發布。目前,DirectX最新版本為8.1。
那么,DirectShow能夠做些什么呢?且看,DirectShow為多媒體流的捕捉和回放提供了強有力的支持。運用DirectShow,我們可以很方便地從支持WDM驅動模型的采集卡上捕獲數據,并且進行相應的后期處理乃至存儲到文件中。它廣泛地支持各種媒體格式,包括Asf、Mpeg、 Avi、Dv、Mp3、Wave等等,使得多媒體數據的回放變得輕而易舉。另外,DirectShow還集成了DirectX其它部分(比如 DirectDraw、DirectSound)的技術,直接支持DVD的播放,視頻的非線性編輯,以及與數字攝像機的數據交換。更值得一提的是, DirectShow提供的是一種開放式的開發環境,我們可以根據自己的需要定制自己的組件。
DirectShow使用一種叫Filter Graph的模型來管理整個數據流的處理過程;參與數據處理的各個功能模塊叫做Filter;各個 Filter在Filter Graph中按一定的順序連接成一條“流水線”協同工作。大家可以看到,按照功能來分,Filter大致分為三類: Source Filters、Transform Filters和Rendering Filters。Source Filters主要負責取得數據,數據源可以是文件、因特網、或者計算機里的采集卡、數字攝像機等,然后將數據往下傳輸;Transform Fitlers主要負責數據的格式轉換、傳輸;Rendering Filtes主要負責數據的最終去向,我們可以將數據送給聲卡、顯卡進行多媒體的演示,也可以輸出到文件進行存儲。值得注意的是,三個部分并不是都只有一個Filter去完成功能。恰恰相反,每個部分往往是有幾個Fitler協同工作的。比如, Transform Filters可能包含了一個Mpeg的解碼Filter、以及視頻色彩空間的轉換Filter、音頻采樣頻率轉換Filter等等。除了系統提供的大量Filter外,我們可以定制自己的Filter,以完成我們需要的功能。下圖是一條典型的Avi文件回放 Filter Graph鏈路:
在DirectShow系統之上,我們看到的,即是我們的應用程序(Application)。應用程序要按照一定的意圖建立起相應的 Filter Graph,然后通過Filter Graph Manager來控制整個的數據處理過程。DirectShow能在 Filter Graph運行的時候接收到各種事件,并通過消息的方式發送到我們的應用程序。這樣,就實現了應用程序與DirectShow系統之間的交互。下圖給出了DirectShow應用程序開發的一般過程:
以上簡單介紹了DirectShow的系統結構,希望大家對這個強勁的應用框架已經有了大概的認識。如果你有興趣,可以詳細研究DirectX的幫助文檔。DirectShow是一個強大的開發包;另外,它是基于COM的,因此要求程序員具有COM編程的一些基本知識。關于如何深入學習 DirectShow應用結構以及開發自己的Filter,請參閱筆者的后續文章。筆者將從編程的角度,詳細講述來源于實際工作中的經驗之談。
從下面開始,我們要從程序員的角度,進一步深入探討一下DirectShow的應用以及Filter的開發。
在這之前,筆者首先要特別提一下微軟提供的一個Filter測試工具——GraphEdit,它的路徑在DXSDK\bin\DXUtils\ GraphEdit.exe。(如果您還沒有安裝DirectX SDK,請到微軟的網站上去下載。)通過這個工具,我們可以很直觀地看到 Filter Graph的運行及處理流程,方便我們進行程序調試。(如果您手邊就有電腦,還等什么,馬上體驗一下吧:運行GraphEdit,執行 File->Render Media File…選擇一個媒體文件;當Filter Graph構建成功后,按下工具欄的運行按鈕;您就能看到剛才選擇的媒體文件被回放出來了!看到了吧,寫一個媒體播放器也就這么回事!)
接下去,我們開講Filter的開發。
學習DirectShow Filter的開發,不外乎以下幾種方法:看幫助文檔、看示例代碼和看SDK基類源代碼。看幫助文檔,應著重于總體概念上的理解;看示例代碼應與基類源代碼的研究同步進行,因為自己寫Filter,關鍵的第一步是選擇一個合適的Filter基類和Pin的基類。對于 Filter的把握,一般認為要掌握以下三方面的內容:Filter之間Pin的連接、Filter之間的數據傳輸以及流媒體的隨機訪問(或者說流的定位)。下面就開始分別進行闡述。
所謂的Filter Pin之間的連接,實際上是Pin之間Media Type(媒體類型)的一個協商過程。連接總是從輸出Pin指向輸入Pin 的。要想深入了解具體的連接過程,就必須認真研讀SDK的基類源代碼(位于DXSDK\samples\Multimedia\DirectShow\ BaseClasses\amfilter.cpp,類CBasePin的Connect方法)。連接的大致過程為,枚舉欲連接的輸入Pin上所有的媒體類型,逐一用這些媒體類型與輸出Pin進行連接,如果輸出Pin也接受這種媒體類型,則Pin之間的連接宣告成功;如果所有輸入Pin上枚舉的媒體類型輸出Pin都不支持,則枚舉輸出Pin上的所有媒體類型,并逐一用這些媒體類型與輸入Pin進行連接。如果輸入Pin接受其中的一種媒體類型,則Pin之間的連接到此也宣告成功;如果輸出Pin上的所有媒體類型,輸入Pin都不支持,則這兩個Pin之間的連接過程宣告失敗。
有一點需要注意的是,上述的輸入Pin與輸出Pin一般不屬于同一個Filter,典型的是上一級Filter(也叫Upstream Filter)的輸出Pin連向下一級Filter(也叫Downstream Filter)的輸入Pin。
當Filter的Pin之間連接完成,也就是說,連接雙方通過協商取得了一種大家都支持的媒體類型之后,即開始為數據傳輸做準備。這些準備工作中,最重要的是Pin上的內存分配器的協商,一般也是由輸出Pin發起。在DirectShow Filter之間,數據是通過一個一個數據包傳送的,這個數據包叫做Sample。Sample本身是一個COM對象,擁有一段內存用以裝載數據,Sample就由內存分配器(Allocator)來統一管理。已成功連接的一對輸出、輸入Pin使用同一個內存分配器,所以數據從輸出Pin傳送到輸入Pin上是無需內存拷貝的。而典型的數據拷貝,一般發生在 Filter內部,從Filter的輸入Pin上讀取數據后,進行一定意圖的處理,然后在Filter的輸出Pin上填充數據,然后繼續往下傳輸。下面,我們就具體闡述一下Filter之間的數據傳送。
首先,大家要區分一下Filter的兩種主要的數據傳輸模式:推模式(Push Model)和拉模式(Pull Model)。
所謂推模式,即源Filter(Source Filter)自己能夠產生數據,并且一般在它的輸出Pin上有獨立的子線程負責將數據發送出去,常見的情況如代表WDM模型的采集卡的Live Source Filter;而所謂拉模式,即源Filter不具有把自己的數據送出去的能力,這種情況下,一般源Filter后緊跟著接一個Parser Filter或Splitter Filter,這種Filter一般在輸入Pin上有個獨立的子線程,負責不斷地從源Filter索取數據,然后經過處理后將數據傳送下去,常見的情況如文件源。推模式下,源Filter是主動的;拉模式下,源Filter 是被動的。而事實上,如果將上圖拉模式中的源Filter和Splitter Filter看成另一個虛擬的源Filter,則后面的Filter之間的數據傳輸也與推模式完全相同。
那么,數據到底是怎么通過連接著的Pin傳輸的呢?首先來看推模式。在源Filter后面的Filter輸入Pin上,一定實現了一個 IMemInputPin接口,數據正是通過上一級Filter調用這個接口的Receive方法進行傳輸的。值得注意的是(上面已經提到過),數據從輸出Pin通過Receive方法調用傳輸到輸入Pin上,并沒有進行內存拷貝,它只是一個相當于數據到達的“通知”。再看一下拉模式。拉模式下的源 Filter的輸出Pin上,一定實現了一個IAsyncReader接口;其后面的Splitter Filter,就是通過調用這個接口的 Request方法或者SyncRead方法來獲得數據。Splitter Filter然后像推模式一樣,調用下一級Filter輸入Pin上的 IMemInputPin接口Receive方法實現數據的往下傳送。深入了解這部分內容,請認真研讀SDK的基類源代碼(位于DXSDK\ samples\Multimedia\DirectShow\BaseClasses\source.cpp和pullpin.cpp)。
下面,我們來講一下流的定位(Media Seeking)。在GraphEdit中,當我們成功構建了一個Filter Graph之后,我們就可以播放它。在播放中,我們可以看到進度條也在相應地前進。當然,我們也可以通過拖動進度條,實現隨機訪問。要做到這一點,在應用程序級別應該可以知道 Filter Graph總共要播放多長時間,當前播放到什么位置等等。那么,在Filter級別,這一點是怎么實現的呢?
我們知道,若干個Filter通過Pin的相互連接組成了Filter Graph。而這個Filter Graph是由另一個COM對象 Filter Graph Manager來管理的。通過Filter Graph Manager,我們就可以得到一個IMediaSeeking的接口來實現對流媒體的定位。在Filter級別,我們可以看到,Filter Graph Manager首先從最后一個Filter (Renderer Filter)開始,詢問上一級Filter的輸出Pin是否支持IMediaSeeking接口。如果支持,則返回這個接口;如果不支持,則繼續往上一級Filter詢問,直到源Filter。一般在源Filter的輸出Pin上實現IMediaSeeking接口,它告訴調用者總共有多長時間的媒體內容,當前播放位置等信息。(如果是文件源,一般在Parser Filter或Splitter Filter實現這個接口。)對于 Filter開發者來說,如果我們寫的是源Filter,我們就要在Filter的輸出Pin上實現IMediaSeeking這個接口;如果寫的是中間的傳輸Filter,只需要在輸出Pin上將用戶的獲得接口請求往上傳遞給上一級Filter的輸出Pin;如果寫的是Renderer Filter,需要在Filter上將用戶的獲得接口請求往上傳遞給上一級Filter的輸出Pin。進一步的了解,請認真研讀SDK的基類源代碼(位于DXSDK\ samples\Multimedia\DirectShow\BaseClasses\transfrm.cpp的類方法 CTransformOutputPin::NonDelegatingQueryInterface實現和ctlutil.cpp中類 CPosPassThru的實現)。
以上我們介紹了一下如何學習DirectShow Filter開發,以及一些開始寫自己的Filter之前的預備知識。下一講,筆者將根據自己開發Filter的經驗,手把手教你如何寫自己的Filter。
首先,從VC++的項目開始(請確認你已經給VC++配置好了DirectX的開發環境)。寫自己的Filter,第一步是使用VC++建立一個 Filter的項目。由于DirectX SDK提供了很多Filter的例子項目(位于DXSDK\samples\Multimedia\ DirectShow\ Filters目錄下),最簡單的方法就是拷貝一個,然后再在此基礎上修改。但如果你是Filter開發的初學者,筆者并不贊成這么做。
自己新建一個Filter項目也很簡單。使用VC++的向導,建立一個空的”Win32 Dynamic-link Library”項目。注意,幾個文件是必須有的:.def文件,定義四個導出函數;定義Filter類的.cpp文件和.h文件,并在.cpp文件中定義Filter的注冊信息以及兩個Filter的注冊函數:DllRegisterServer和DllUnregisterServer。(注:Filter的注冊信息是Filter 在注冊時寫到注冊表里的內容,格式可以參考SDK的示例代碼,Filter相關的GUID務必使用GuidGen.exe產生。)接下去進行項目的設置(Project->Settings…)。此時,你可以打開一個SDK的例子項目進行對比,有些宏定義完全可以照抄,最后注意將輸出文件的擴展名改為. ax。
上一講曾經提到過,在寫Filter之前,選擇一個合適的Filter基類是至關重要的。為此,你必須對幾個Filter的基類有相當的了解。在實際應用中,Filter的基類并不總是選擇CBaseFilter的。相反,因為我們絕大部分寫的都是中間的傳輸Filter (Transform Filter),所以基類選擇CTransformFilter和CTransInPlaceFilter的居多。如果我們寫的是源Filter,我們可以選擇CSource作為基類;如果是Renderer Filter,可以選擇CBaseRenderer或 CBaseVideoRenderer等。
總之,選擇好Filter的基類是很重要的。當然,選擇Filter的基類也是很靈活的,沒有絕對的標準。能夠通過CTransformFilter 實現的Filter當然也能從CBaseFilter一步一步實現。下面,筆者就從本人的實際經驗出發,對Filter基類的選擇提出幾點建議供大家參考。
首先,你必須明確這個Filter要完成什么樣的功能,即要對Filter項目進行需求分析。請盡量保持Filter實現的功能的單一性。如果必要的話,你可以將需求分解,由兩個(或者更多的)功能單一的Filter去實現總的功能需求。
其次,你應該明確這個Filter大致在整個Filter Graph的位置,這個Filter的輸入是什么數據,輸出是什么數據,有幾個輸入 Pin、幾個輸出Pin等等。你可以畫出這個Filter的草圖。弄清這一點十分重要,這將直接決定你使用哪種“模型”的Filter。比如,如果 Filter僅有一個輸入Pin和一個輸出Pin,而且一進一處的媒體類型相同,則一般采用CTransInPlaceFilter作為Filter的基類;如果媒體類型不一樣,則一般選擇CTransformFilter作為基類。
再者,考慮一些數據傳輸、處理的特殊性要求。比如Filter的輸入和輸出的Sample并不是一一對應的,這就一般要在輸入Pin上進行數據的緩存,而在輸出Pin上使用專門的線程進行數據處理。這種情況下,Filter的基類選擇CSource為宜(雖然這個Filter并不是源 Filter)。
當Filter的基類選定了之后,Pin的基類也就相應選定了。接下去,就是Filter和Pin上的代碼實現了。有一點需要注意的是,從軟件設計的角度上來說,應該將你的邏輯類代碼同Filter的代碼分開。下面,我們一起來看一下輸入Pin的實現。你需要實現基類所有的純虛函數,比如 CheckMediaType等。在CheckMediaType內,你可以對媒體類型進行檢驗,看是否是你期望的那種。因為大部分Filter采用的是推模式傳輸數據,所以在輸入Pin上一般都實現了Receive方法。有的基類里面已經實現了Receive,而在Filter類上留一個純虛函數供用戶重載進行數據處理。這種情況下一般是無需重載Receive方法的,除非基類的實現不符合你的實際要求。而如果你重載了Receive方法,一般會同時重載以下三個函數EndOfStream、BeginFlush和EndFlush。我們再來看一下輸出Pin的實現。一般情況下,你要實現基類所有的純虛函數,除了CheckMediaType進行媒體類型檢查外,一般還有DecideBufferSize以決定Sample使用內存的大小, GetMediaType提供支持的媒體類型。最后,我們看一下Filter類的實現。首先當然也要實現基類的所有純虛函數。除此之外,Filter還要實現CreateInstance以提供COM的入口,實現NonDelegatingQueryInterface以暴露支持的接口。如果我們創建了自定義的輸入、輸出Pin,一般我們還要重載GetPinCount和GetPin兩個函數。
Filter框架的實現大致就是這樣。你或許還想知道怎樣在Filter上實現一個自定義的接口,以及怎么實現Filter的屬性頁等等。限于篇幅,筆者就不展開闡述了。其實,這些問題都能在SDK的示例項目中找到答案。其他的,關于在實際編程中應該注意的一些問題,筆者整理了一下,供大家參考。
1. 鎖(Lock)問題
DirectShow應用程序至少包含有兩條線程:一條主線程和一條數據傳輸線程。既然是多線程,肯定會碰到線程同步的問題。Filter有兩種鎖: Filter對象鎖和數據流鎖。Filter對象鎖用于Filter級別的如Filter狀態轉換、BeginFlush、EndFlush等;數據流鎖用于數據處理線程內,比如Receive、EndOfStream等。如果這兩種鎖沒有搞清楚,很容易產生程序的死鎖,這一點特別需要提醒。
2. EndOfStream問題
當Filter接收到這個“消息”,意味著上一級Filter的數據都已經發送完畢。在這之后,如果Receive再有數據接收,也不應該去理睬它。如果Filter對輸入Pin上的數據進行了緩存,在接收到EndOfStream后應確保所有緩存的數據都已經處理過了才能返回。
3. Media Seeking問題
一般情況下,你只需要在Filter的輸出Pin上實現NonDelegatingQueryInterface方法,當用戶申請得到 IID_ImediaPosition接口或IID_IMediaSeeking接口時將請求往上一級Filter的輸出Pin上傳遞。當 Filter Graph進行Mediaseeking的時候,一般會調用Filter上的BeginFlush、EndFlush和 NewSegment。如果你的Filter對數據進行了緩存,你就要重載它們,并做出相應的處理。如果你的Filter負責給發送出去的Sample打時間戳,那么,在Mediaseeking之后應該重新從零開始打起。
4. 關于使用專門的線程
如果你使用了專門的線程進行數據的處理和發送,你需要特別小心,不要讓線程進行死循環,并且要讓線程處理函數能夠去時時檢查線程命令。應該確保在 Filter結束工作的時候,線程也能正常地結束。有時候,你把GraphEdit程序關掉,但GraphEdit進程仍在內存中,往往就是因為數據線程沒有安全關閉這個原因。
5. 如何從媒體類型中獲取信息
比如,你想在輸入Pin連接的媒體類型中,獲取視頻圖像的寬、高等信息,你應該在輸入Pin的CompleteConnect方法中實現,而不要在SetMediaType中。
DirectX媒體對象(DirectX Media Objects,簡稱DMOs),是微軟提供的另一種流數據處理COM組件。與 DirectShow filter相比,DMO有很多相似之處。對filter原理的熟悉,將會大大幫助你對DMO的學習。另外,DMO也因其結構簡單、易于創建和使用而倍受微軟推崇。
RFID管理系統集成商 RFID中間件 條碼系統中間層 物聯網軟件集成