睿豐德科技 專注RFID識別技術和條碼識別技術與管理軟件的集成項目。質量追溯系統、MES系統、金蝶與條碼系統對接、用友與條碼系統對接

上一篇文章記錄了GDI播放視頻的技術。打算接下來寫兩篇文章記錄Direct3D（簡稱D3D）播放視頻的技術。Direct3D應該Windows下最常用的播放視頻的技術。實際上視頻播放只是Direct3D的“副業”，它主要用于3D游戲制作。當前主流的游戲幾乎都是使用Direct3D制作的，例如《地下城與勇士》，《穿越火線》，《英雄聯盟》，《魔獸世界》，《QQ飛車》等等。使用Direct3D可以用兩種方式渲染視頻：Surface和Texture。使用Surface相對來說比使用Texture要簡單一些，但是不如使用Texture靈活。鑒于使用Surface更加容易上手，本文記錄使用Direct3D中的Surface顯示視頻的技術。下一篇文章再記錄使用Direct3D中的Texture顯示視頻的技術。

 

Direct3D簡介

下面下簡單記錄一下背景知識。摘錄修改了維基上的一部分內容（維基上這部分敘述貌似很不準確…）：

Direct3D（簡稱：D3D）是微軟公司在Microsoft Windows系統上開發的一套3D繪圖API，是DirectX的一部份，目前廣為各家顯示卡所支援。1995年2月，微軟收購了英國的Rendermorphics公司，將RealityLab 2.0技術發展成Direct3D標準，并整合到Microsoft Windows中，Direct3D在DirectX 3.0開始出現。后來在DirectX 8.0發表時與DirectDraw編程介面合并并改名為DirectX Graphics。Direct3D與Windows GDI是同層級組件。它可以直接調用底層顯卡的功能。與OpenGL同為電腦繪圖軟件和電腦游戲最常使用的兩套繪圖API。

抽象概念

Direct3D的抽象概念包括：Devices（設備），Swap Chains（交換鏈）和Resources（資源）。

Device（設備）用于渲染3D場景。例如單色設備就會渲染黑白圖片，而彩色設備則會渲染彩色圖片。Device目前我自己了解的有以下2類（還有其他類型，但不是很熟）：

HAL（Hardware Abstraction Layer）：支持硬件加速的設備。在所有設備中運行速度是最快的，也是最常用的。
Reference：模擬一些硬件還不支持的新功能。換言之，就是利用軟件，在CPU對硬件渲染設備的一個模擬。

每一個Device至少要有一個Swap Chain（交換鏈）。一個Swap Chain由一個或多個Back Buffer Surfaces（后臺緩沖表面）組成。渲染在Back Buffer中完成。
此外，Device包含了一系列的Resources（資源），用于定義渲染時候的數據。每個Resources有4個屬性：

Type：描述Resource的類型。例如surface， volume， texture， cube texture， volume texture， surface texture， index buffer 或者vertex buffer。
Usage：描述Resource如何被使用。例如指定Resource是以只讀方式調用還是以可讀寫的方式調用。
Format：數據的格式。比如一個二維表面的像素格式。例如，D3DFMT_R8G8B8的Format表明了數據格式是24 bits顏色深度的RGB數據。
Pool：描述Resource如何被管理和存儲。默認的情況下Resource會被存儲在設備的內存（例如顯卡的顯存）中。也可以指定Resource存儲在系統內存中。

渲染流水線（rendering pipeline）

Direct3D API定義了一組Vertices（頂點）， Textures（紋理）， Buffers（緩沖區）轉換到屏幕上的流程。這樣的流程稱為Rendering Pipeline（渲染流水線），它的各階段包括：

Input Assembler（輸入組裝）：從應用程序里讀取vertex數據，將其裝進流水線。
Vertex Shader（頂點著色器）：對每個頂點屬性進行著色。每次處理一個頂點，比如變換、貼圖、光照等。注意這個地方可能需要自己編程。
Geometry Shader（幾何著色器）： Shader Model 4.0引進了幾何著色器，處理點、線、面的幾何坐標變換。此處我自己還不是很了解。

PS：上述處理完后的數據可以理解為以下圖片。即包含頂點信息，但不包含顏色信息。

Stream Output（流輸出）：將Vertex Shader和Geometry Shader處理完成的數據輸出給使用者。
Rasterizer（光柵化）: 把算完的頂點轉成像素，再將像素（pixels）輸出給Pixel Shader。這里也可執行其他工作，比如像素數據的切割，插值等。

PS：光柵化的過程可以理解為下圖。即把頂點轉換成像素。

Pixel Shader（像素著色器）：對每個像素進行著色。注意這個地方可能需要自己編程。
Output Merger（輸出混合）：整合各種不同的數據，輸出最后結果。

視頻顯示的基礎知識

在記錄Direct3D的視頻顯示技術之前，首先記錄一下視頻顯示的基礎知識。我自己歸納總結了以下幾點知識。

1. 三角形

在Direct3D中經常會出現“三角形”這個概念。這是因為在3D圖形渲染中，所有的物體都是由三角形構成的。因為一個三角形可以表示一個平面，而3D物體就是由一個或多個平面構成的。比如下圖表示了一個非常復雜的3D地形，它們也不過是由許許多多三角形表示的。

因此我們只要指定一個或多個三角形，就可以表示任意3D物體。

2. 后臺緩沖表面，前臺表面，交換鏈，離屏表面

后臺緩沖表面和前臺表面的概念總是同時出現的。簡單解釋一下它們的作用。當我們進行復雜的繪圖操作時，畫面可能有明顯的閃爍。這是由于繪制的東西沒有同時出現在屏幕上而導致的。“前臺表面”+“后臺緩沖表面”的技術可以解決這個問題。前臺表面即我們看到的屏幕，后臺緩沖表面則在內存當中，對我們來說是不可見的。每次的所有繪圖操作不是在屏幕上直接繪制，而是在后臺緩沖表面中進行，當繪制完成后，需要的時候再把繪制的最終結果顯示到屏幕上。這樣就解決了上述的問題。

實際上，上述技術還涉及到一個“交換鏈”（Swap Chain）的概念。所謂的“鏈”，指的是一系列的表面組成的一個合集。這些表面中有一個是前臺表面（顯示在屏幕上），剩下的都是后臺緩沖表面。其實，簡單的交換鏈不需要很多表面，只要兩個就可以了（雖然感覺不像“鏈”）。一個后臺緩沖表面，一個前臺表面。所謂的“交換”，即是在需要呈現后臺緩沖表面中的內容的時候，交換這兩個表面的“地位”。即前臺表面變成后臺緩沖表面，后臺緩沖表面變成前臺表面。如此一來，后臺緩沖表面的內容就呈現在屏幕上了。原先的前臺表面，則扮演起了新的后臺緩沖表面的角色，準備進行新的繪圖操作。當下一次需要顯示畫面的時候，這兩個表面再次交換，如此循環往復，永不停止。
此外，還有一個離屏表面。離屏表面是永遠看不到的表面（所謂“離屏”），它通常被用來存放位圖，并對其中的數據做一些處理。本文介紹的例子中就用到了一個離屏表面。通常的做法是把離屏表面上的位圖復制到后臺緩沖表面，后臺緩沖表面再顯示到前臺表面。

安裝DirectX SDK

 

使用Direct3D開發之前需要安裝DirectX SDK。安裝沒有難度，一路“Next”即可。

Microsoft DirectX SDK (June 2010)下載地址：
http://www.microsoft.com/en-us/download/details.aspx?id=6812
使用VC進行開發的時候，需要在項目的“屬性”對話框中配置頭文件和庫：
頭文件配置：C/C++->常規->附加包含目錄
庫文件配置：
（a）鏈接器->常規->附加庫目錄。
（b）鏈接器->輸入->附加依賴項（填寫一個d3d9.lib）
編程的時候，添加頭文件后即可使用：

 

[cpp] view plaincopy  

1. #include <d3d9.h>  

 

D3D視頻顯示的流程

有關Direct3D的知識的介紹還有很多，在這里就不再記錄了。正如那句俗話：“Talk is cheap, show me the code.”，光說理論還是會給人一種沒有“腳踏實地”的感覺，下文將會結合代碼記錄Direct3D中使用Surface渲染視頻的技術。

使用Direct3D的Surface播放視頻一般情況下需要如下步驟：

1. 創建一個窗口（不屬于D3D的API）
2. 初始化

1) 創建一個Device 
2) 基于Device創建一個Surface（離屏表面）

3. 循環顯示畫面

1) 清理
2) 一幀視頻數據拷貝至Surface
3) 開始一個Scene
4) Surface數據拷貝至后臺緩沖表面
5) 結束Scene
6) 顯示（后臺緩沖表面->前臺表面）

下面結合Direct3D播放YUV/RGB的示例代碼，詳細分析一下上文的流程。

1. 創建一個窗口（不屬于D3D的API）

建立一個Win32的窗口程序，就可以用于Direct3D的顯示。程序的入口函數是WinMain()，調用CreateWindow()即可創建一個窗口。這一步是必須的，不然Direct3D繪制的內容就沒有地方顯示了。此處不再詳述。

2. 初始化

1) 創建一個Device

這一步完成的時候，可以得到一個IDirect3DDevice9接口的指針。創建一個Device又可以分成以下幾個詳細的步驟：
(a) 通過 Direct3DCreate9()創建一個IDirect3D9接口。
獲取IDirect3D9接口的關鍵實現代碼只有一行：

[cpp] view plaincopy  

1. IDirect3D9 *m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );  

 

IDirect3D9接口是一個代表我們顯示3D圖形的物理設備的C++對象。它可以用于獲得物理設備的信息和創建一個IDirect3DDevice9接口。例如，可以通過它的GetAdapterDisplayMode()函數獲取當前主顯卡輸出的分辨率，刷新頻率等參數，實現代碼如下。

[cpp] view plaincopy  

1. D3DDISPLAYMODE d3dDisplayMode;  
2. lRet = m_pDirect3D9->GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &d3dDisplayMode );  

由代碼可以看出，獲取的信息存儲在D3DDISPLAYMODE結構體中。D3DDISPLAYMODE結構體中包含了主顯卡的分辨率等信息：

[cpp] view plaincopy  

1. /* Display Modes */  
2. typedef struct _D3DDISPLAYMODE  
3. {  
4.     UINT            Width;  
5.     UINT            Height;  
6.     UINT            RefreshRate;  
7.     D3DFORMAT       Format;  
8. } D3DDISPLAYMODE;  

也可以用它的GetDeviceCaps()函數搞清楚主顯卡是否支持硬件頂點處理，實現的代碼如下。

[cpp] view plaincopy  

1. D3DCAPS9 d3dcaps;  
2. lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps);  
3. int hal_vp = 0;  
4. if( d3dcaps.DevCaps & D3DDEVCAPS_HWTRANSFORMANDLIGHT ){  
5.     // yes, save in ‘vp’ the fact that hardware vertex  
6.     // processing is supported.  
7.     hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING;  
8. }  

由代碼可以看出，獲取的設備信息存儲在D3DCAPS9結構體中。D3DCAPS9定義比較長包含了各種各樣的信息，不再列出來。從該結構體的DevCaps字段可以判斷得出該設備是否支持硬件頂點處理。
(b) 設置D3DPRESENT_PARAMETERS結構體，為創建Device做準備。
接下來填充一個D3DPRESENT_PARAMETERS結構的實例。這個結構用于設定我們將要創建的IDirect3DDevice9對象的一些特性，它的定義如下。

[cpp] view plaincopy  

1. typedef struct _D3DPRESENT_PARAMETERS_  
2. {  
3.     UINT                BackBufferWidth;  
4.     UINT                BackBufferHeight;  
5.     D3DFORMAT           BackBufferFormat;  
6.     UINT                BackBufferCount;  
7.   
8.   
9.     D3DMULTISAMPLE_TYPE MultiSampleType;  
10.     DWORD               MultiSampleQuality;  
11.   
12.   
13.     D3DSWAPEFFECT       SwapEffect;  
14.     HWND                hDeviceWindow;  
15.     BOOL                Windowed;  
16.     BOOL                EnableAutoDepthStencil;  
17.     D3DFORMAT           AutoDepthStencilFormat;  
18.     DWORD               Flags;  
19.   
20.   
21.     /* FullScreen_RefreshRateInHz must be zero for Windowed mode */  
22.     UINT                FullScreen_RefreshRateInHz;  
23.     UINT                PresentationInterval;  
24. } D3DPRESENT_PARAMETERS;  

D3DPRESENT_PARAMETERS這個結構體比較重要。詳細列一下它每個參數的含義：
BackBufferWidth：后臺緩沖表面的寬度（以像素為單位）。
BackBufferHeight：后臺緩沖表面的高度（以像素為單位）。
BackBufferFormat：后臺緩沖表面的像素格式（例如：32位像素格式為D3DFMT：A8R8G8B8）。
BackBufferCount：后臺緩沖表面的數量，通常設為“1”，即只有一個后備表面。
MultiSampleType：全屏抗鋸齒的類型，顯示視頻沒用到，不詳細分析。
MultiSampleQuality：全屏抗鋸齒的質量等級，顯示視頻沒用到，不詳細分析。
SwapEffect：指定表面在交換鏈中是如何被交換的。支持以下取值：
*D3DSWAPEFFECT_DISCARD:后臺緩沖表面區的東西被復制到屏幕上后,后臺緩沖表面區的東西就沒有什么用了,可以丟棄了。
*D3DSWAPEFFECT_FLIP: 后臺緩沖表面拷貝到前臺表面，保持后臺緩沖表面內容不變。當后臺緩沖表面大于1個時使用。
*D3DSWAPEFFECT_COPY: 同上。當后臺緩沖表面等于1個時使用。
一般使用D3DSWAPEFFECT_DISCARD。
hDeviceWindow：與設備相關的窗口句柄，你想在哪個窗口繪制就寫那個窗口的句柄
Windowed：BOOL型，設為true則為窗口模式，false則為全屏模式
EnableAutoDepthStencil：設為true，D3D將自動創建深度/模版緩沖。
AutoDepthStencilFormat：深度/模版緩沖的格式
Flags：一些附加特性
FullScreen_RefreshRateInHz：刷新率，設定D3DPRESENT_RATE_DEFAULT使用默認刷新率
PresentationInterval：設置刷新的間隔，可以用以下方式：
*D3DPRENSENT_INTERVAL_DEFAULT，則說明在顯示一個渲染畫面的時候必要等候顯示器刷新完一次屏幕。例如顯示器刷新率設為80Hz的話，則一秒最多可以顯示80個渲染畫面。
*D3DPRENSENT_INTERVAL_IMMEDIATE:表示可以以實時的方式來顯示渲染畫面。
下面列出使用Direct3D播放視頻的時候D3DPRESENT_PARAMETERS的一個最簡單的設置。

[cpp] view plaincopy  

1. //D3DPRESENT_PARAMETERS Describes the presentation parameters.  
2. D3DPRESENT_PARAMETERS d3dpp;   
3. ZeroMemory( &d3dpp, sizeof(d3dpp) );  
4. d3dpp.Windowed = TRUE;  
5. d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;  
6. d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;  

 

(c) 通過IDirect3D9的CreateDevice ()創建一個Device。

最后就可以調用IDirect3D9的CreateDevice()方法創建Device了。

CreateDevice()的函數原型如下：

 

[cpp] view plaincopy  

1. HRESULT CreateDevice(  
2. UINT Adapter,  
3. D3DDEVTYPE DeviceType,  
4. HWND hFocusWindow,  
5. DWORD BehaviorFlags,  
6. D3DPRESENT_PARAMETERS *pPresentationParameters,  
7. IDirect3DDevice9** ppReturnedDeviceInterface  
8. );  

其中每個參數的含義如下所列：

 

Adapter：指定對象要表示的物理顯示設備。D3DADAPTER_DEFAULT始終是主要的顯示器適配器。

DeviceType：設備類型，包括D3DDEVTYPE_HAL(Hardware Accelerator，硬件加速)、D3DDEVTYPE_SW(SoftWare，軟件)。
hFocusWindow：同我們在前面d3dpp.hDeviceWindow的相同
BehaviorFlags：設定為D3DCREATE_SOFTWARE_VERTEXPROCESSING（軟件頂點處理）或者D3DCREATE_HARDWARE_VERTEXPROCESSING（硬件頂點處理），使用前應該用D3DCAPS9來檢測用戶計算機是否支持硬件頂點處理功能。
pPresentationParameters：指定一個已經初始化好的D3DPRESENT_PARAMETERS實例
ppReturnedDeviceInterface：返回創建的Device

下面列出使用Direct3D播放視頻的時候CreateDevice()的一個典型的代碼。

 

[cpp] view plaincopy  

1. IDirect3DDevice9 *m_pDirect3DDevice;  
2. D3DPRESENT_PARAMETERS d3dpp;  
3. …  
4. m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL,hwnd,  
5.         D3DCREATE_SOFTWARE_VERTEXPROCESSING,  
6.         &d3dpp, &m_pDirect3DDevice );  

 

 

2) 基于Device創建一個Surface

通過IDirect3DDevice9接口的CreateOffscreenPlainSurface ()方法即可創建一個Surface（離屏表面。所謂的“離屏”指的是永遠不在屏幕上顯示）。CreateOffscreenPlainSurface ()的函數原型如下所示：

 

[cpp] view plaincopy  

1. HRESULT CreateOffscreenPlainSurface(UINT width,  
2.  UINT height,  
3.  D3DFORMAT format,  
4.  D3DPOOL pool,  
5.  IDirect3DSurface9 ** result,  
6.  HANDLE * unused  
7.  );  

其中每個參數的含義如下所列：

 

Width：離屏表面的寬。
Height：離屏表面的高。
Format：離屏表面的像素格式（例如：32位像素格式為D3DFMT_A8R8G8B8）
Pool：D3DPOOL定義了資源對應的內存類型，例如如下幾種類型。
D3D3POOL_DEFAULT: 默認值，表示存在于顯卡的顯存中。
D3D3POOL_MANAGED：由Direct3D自由調度內存的位置（顯存或者緩存中）。
D3DPOOL_SYSTEMMEM： 表示位于內存中。
Result：返回創建的Surface。
Unused：還未研究。

下面給出一個使用Direct3D播放視頻的時候CreateTexture()的典型代碼。該代碼創建了一個像素格式為YV12的離屏表面，存儲于顯卡的顯存中。

 

[cpp] view plaincopy  

1. IDirect3DDevice9 * m_pDirect3DDevice;  
2. IDirect3DSurface9 *m_pDirect3DSurfaceRender;  
3. …  
4. m_pDirect3DDevice->CreateOffscreenPlainSurface(  
5.         lWidth,lHeight,  
6.         (D3DFORMAT)MAKEFOURCC('Y', 'V', '1', '2'),  
7.         D3DPOOL_DEFAULT,  
8.         &m_pDirect3DSurfaceRender,  
9.         NULL);  

 

 

創建Surface完成之后，初始化工作就完成了。

3. 循環顯示畫面

循環顯示畫面就是一幀一幀的讀取YUV/RGB數據，然后顯示在屏幕上的過程，下面詳述一下步驟。

1) 清理

在顯示之前，通過IDirect3DDevice9接口的Clear()函數可以清理Surface。個人感覺在播放視頻的時候用不用這個函數都可以。因為視頻本身就是全屏顯示的。顯示下一幀的時候自然會覆蓋前一幀的所有內容。Clear()函數的原型如下所示：

 

[cpp] view plaincopy  

1. HRESULT Clear(  
2.  DWORD Count,  
3.  const D3DRECT *pRects,  
4.  DWORD Flags,  
5.  D3DCOLOR Color,  
6.  float Z,  
7.  DWORD Stencil  
8. );  

其中每個參數的含義如下所列：

 

Count：說明你要清空的矩形數目。如果要清空的是整個客戶區窗口，則設為0； 
 pRects：這是一個D3DRECT結構體的一個數組，如果count中設為5，則這個數組中就得有5個元素。 
 Flags：一些標記組合。只有三種標記：D3DCLEAR_STENCIL , D3DCLEAR_TARGET , D3DCLEAR_ZBUFFER。 
 Color：清除目標區域所使用的顏色。 
 float：設置Z緩沖的Z初始值。Z緩沖還沒研究過。 
 Stencil：這個在播放視頻的時候也沒有用到。

下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的Clear()的典型代碼。

 

[cpp] view plaincopy  

1. IDirect3DDevice9 *m_pDirect3DDevice;  
2. m_pDirect3DDevice->Clear(0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0, 0, 255), 1.0f, 0);  

上述代碼運行完后，屏幕會變成藍色（R,G,B取值為0,0,255）。

 

2) 一幀視頻數據拷貝至Surface

操作Surface的像素數據，需要使用IDirect3DSurface9的LockRect()和UnlockRect()方法。使用LockRect()鎖定紋理上的一塊矩形區域，該矩形區域被映射成像素數組。利用函數返回的D3DLOCKED_RECT結構體，可以對數組中的像素進行直接存取。LockRect()函數原型如下。

 

[cpp] view plaincopy  

1. HRESULT LockRect(  
2.   D3DLOCKED_RECT *pLockedRect,  
3.   const RECT *pRect,  
4.   DWORD Flags  
5. );  

每個參數的意義如下：

 

pLockedRect: 返回的一個D3DLOCKED_RECT結構體用于描述被鎖定的區域。
pRect: 使用一個 RECT結構體指定需要鎖定的區域。如果為NULL的話就是整個區域。
Flags: 暫時還沒有細研究。

其中D3DLOCKED_RECT結構體定義如下所示。

 

[cpp] view plaincopy  

1. typedef struct _D3DLOCKED_RECT  
2. {  
3.     INT                 Pitch;  
4.     void*               pBits;  
5. } D3DLOCKED_RECT;  

 

 

兩個參數的意義如下：
Pitch：surface中一行像素的數據量（Bytes）。注意這個的值并不一定等于實際像素數據一行像素的數據量（通常會大一些），它取值一般是4的整數倍。
pBits：指向被鎖定的數據。

使用LockRect()函數之后，就可以對其返回的D3DLOCKED_RECT中的數據進行操作了。例如memcpy()等。操作完成后，調用UnlockRect()方法。

下面給出一個使用Direct3D的Surface播放視頻的時候IDirect3DSurface9的數據拷貝的典型代碼。該代碼拷貝了YUV420P的數據至Surface。

[cpp] view plaincopy  

1. IDirect3DSurface9 *m_pDirect3DSurfaceRender;  
2. HRESULT lRet;  
3. ...  
4. D3DLOCKED_RECT d3d_rect;  
5. lRet=m_pDirect3DSurfaceRender->LockRect(&d3d_rect,NULL,D3DLOCK_DONOTWAIT);  
6. if(FAILED(lRet))  
7.     return -1;  
8. byte *pSrc = buffer;  
9. byte * pDest = (BYTE *)d3d_rect.pBits;  
10. int stride = d3d_rect.Pitch;  
11. unsigned long i = 0;  
12.   
13. //Copy Data (YUV420P)  
14. for(i = 0;i < pixel_h;i ++){  
15.     memcpy(pDest + i * stride,pSrc + i * pixel_w, pixel_w);  
16. }  
17. for(i = 0;i < pixel_h/2;i ++){  
18.     memcpy(pDest + stride * pixel_h + i * stride / 2,pSrc + pixel_w * pixel_h + pixel_w * pixel_h / 4 + i * pixel_w / 2, pixel_w / 2);  
19. }  
20. for(i = 0;i < pixel_h/2;i ++){  
21.     memcpy(pDest + stride * pixel_h + stride * pixel_h / 4 + i * stride / 2,pSrc + pixel_w * pixel_h + i * pixel_w / 2, pixel_w / 2);  
22. }  
23.   
24. lRet=m_pDirect3DSurfaceRender->UnlockRect();  

3) 開始一個Scene
使用IDirect3DDevice9接口的BeginScene()開始一個Scene。Direct3D中規定所有繪制方法都必須在BeginScene()和EndScene()之間完成。這個函數沒有參數。

4) Surface數據拷貝至后臺緩沖表面
使用IDirect3DDevice9接口的GetBackBuffer() 可以獲得后臺緩沖表面。然后使用StretchRect()方法可以將Surface的數據拷貝至后臺緩沖表面中，等待顯示。

GetBackBuffer()函數原型如下。

 

[cpp] view plaincopy  

1. HRESULT GetBackBuffer(  
2.   UINT  iSwapChain,   
3.   UINT  BackBuffer,   
4.   D3DBACKBUFFER_TYPE Type,  
5.   IDirect3DSurface9 ** ppBackBuffer   
6. );  

函數中參數含義如下：

 

iSwapChain：指定正在使用的交換鏈索引。
BackBuffer：后臺緩沖表面索引。
Type：后臺緩沖表面的類型。

ppBackBuffer：保存后臺緩沖表面的LPDIRECT3DSURFACE9對象。

 

StretchRect()可以將一個矩形區域的像素從設備內存的一個Surface轉移到另一個Surface上。StretchRect()函數的原型如下。

 

[cpp] view plaincopy  

1. HRESULT StretchRect(  
2.   IDirect3DSurface9 * pSourceSurface,  
3.   CONST RECT * pSourceRect,  
4.   IDirect3DSurface9 * pDestSurface,  
5.   CONST RECT * pDestRect,  
6.   D3DTEXTUREFILTERTYPE Filter  
7. );  

 

 

函數中參數含義如下：
pSourceSurface：指向源Surface的指針。
pSourceRect：使用一個 RECT結構體指定源Surface需要復制的區域。如果為NULL的話就是整個區域。
pDestSurface：指向目標Surface的指針。
pDestRect：使用一個 RECT結構體指定目標Surface的區域。
Filter：設置圖像大小變換的時候的插值方法。例如：
D3DTEXF_POINT：鄰域法。質量較差。
D3DTEXF_LINEAR：線性插值，最常用。

下面給出的代碼將離屏表面的數據傳給了后臺緩沖表面。一但傳給了后臺緩沖表面，就可以用于顯示了。

 

[cpp] view plaincopy  

1. IDirect3DDevice9 *m_pDirect3DDevice;  
2. IDirect3DSurface9 *m_pDirect3DSurfaceRender;  
3. IDirect3DSurface9 * pBackBuffer;  
4.   
5.   
6. m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);  
7. m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&m_rtViewport,D3DTEXF_LINEAR);  

 

5) 結束Scene
EndScene()和BeginScene()是成對出現的，不再解釋。
6) 顯示

使用IDirect3DDevice9接口的Present ()顯示結果。Present ()的原型如下。

 

[cpp] view plaincopy  

1. HRESULT Present(  
2.    const RECT *pSourceRect,  
3.    const RECT *pDestRect,  
4.    HWND hDestWindowOverride,  
5.    const RGNDATA *pDirtyRegion  
6.   );  

幾個參數的意義如下：

 

pSourceRect：你想要顯示的后臺緩沖表面區的一個矩形區域。設為NULL則表示要把整個后臺緩沖表面區的內容都顯示。 
pDestRect：表示一個顯示區域。設為NULL表示整個客戶顯示區。 
hDestWindowOverride：你可以通過它來把顯示的內容顯示到不同的窗口去。設為NULL則表示顯示到主窗口。 
pDirtyRegion：一般設為NULL

下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的Present ()的典型代碼。從代碼可以看出，全部設置為NULL就可以了。

 

[cpp] view plaincopy  

1. IDirect3DDevice9 *m_pDirect3DDevice;  
2. …  
3. m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );  

 

 

播放視頻流程總結

文章至此，使用Direct3D顯示YUV/RGB的全部流程就記錄完畢了。最后貼一張圖總結上述流程。

 

代碼

完整的代碼如下所示。

[cpp] view plaincopy  

1. /** 
2.  * 最簡單的Direct3D播放視頻的例子（Direct3D播放RGB/YUV）[Surface] 
3.  * Simplest Video Play Direct3D (Direct3D play RGB/YUV)[Surface] 
4.  * 
5.  * 雷霄驊 Lei Xiaohua 
6.  * leixiaohua1020@126.com 
7.  * 中國傳媒大學/數字電視技術 
8.  * Communication University of China / Digital TV Technology 
9.  * http://blog.csdn.net/leixiaohua1020 
10.  * 
11.  * 本程序使用Direct3D播放RGB/YUV視頻像素數據。使用D3D中的Surface渲染數據。 
12.  * 使用Surface渲染視頻相對于另一種方法（使用Texture）來說，更加簡單，適合 
13.  * 新手學習。 
14.  * 函數調用步驟如下： 
15.  * 
16.  * [初始化] 
17.  * Direct3DCreate9()：獲得IDirect3D9 
18.  * IDirect3D9->CreateDevice()：通過IDirect3D9創建Device（設備）。 
19.  * IDirect3DDevice9->CreateOffscreenPlainSurface()：通過Device創建一個Surface（離屏表面）。 
20.  * 
21.  * [循環渲染數據] 
22.  * IDirect3DSurface9->LockRect()：鎖定離屏表面。 
23.  * memcpy()：填充數據 
24.  * IDirect3DSurface9->UnLockRect()：解鎖離屏表面。 
25.  * IDirect3DDevice9->BeginScene()：開始繪制。 
26.  * IDirect3DDevice9->GetBackBuffer()：獲得后備緩沖。 
27.  * IDirect3DDevice9->StretchRect()：拷貝Surface數據至后備緩沖。 
28.  * IDirect3DDevice9->EndScene()：結束繪制。 
29.  * IDirect3DDevice9->Present()：顯示出來。 
30.  * 
31.  * This software play RGB/YUV raw video data using Direct3D. It uses Surface  
32.  * in D3D to render the pixel data. Compared to another method (use Texture),  
33.  * it is more simple and suitable for the beginner of Direct3D. 
34.  * The process is shown as follows: 
35.  * 
36.  * [Init] 
37.  * Direct3DCreate9(): Get IDirect3D9. 
38.  * IDirect3D9->CreateDevice(): Create a Device. 
39.  * IDirect3DDevice9->CreateOffscreenPlainSurface(): Create a Offscreen Surface. 
40.  * 
41.  * [Loop to Render data] 
42.  * IDirect3DSurface9->LockRect(): Lock the Offscreen Surface. 
43.  * memcpy(): Fill pixel data... 
44.  * IDirect3DSurface9->UnLockRect(): UnLock the Offscreen Surface. 
45.  * IDirect3DDevice9->BeginScene(): Begin drawing. 
46.  * IDirect3DDevice9->GetBackBuffer(): Get BackBuffer. 
47.  * IDirect3DDevice9->StretchRect(): Copy Surface data to BackBuffer. 
48.  * IDirect3DDevice9->EndScene(): End drawing. 
49.  * IDirect3DDevice9->Present(): Show on the screen. 
50.  */  
51.   
52. #include <stdio.h>  
53. #include <tchar.h>  
54. #include <d3d9.h>  
55.   
56. CRITICAL_SECTION  m_critial;  
57.   
58. IDirect3D9 *m_pDirect3D9= NULL;  
59. IDirect3DDevice9 *m_pDirect3DDevice= NULL;  
60. IDirect3DSurface9 *m_pDirect3DSurfaceRender= NULL;  
61.   
62. RECT m_rtViewport;  
63.   
64. //set '1' to choose a type of file to play  
65. //Read BGRA data  
66. #define LOAD_BGRA    0  
67. //Read YUV420P data  
68. #define LOAD_YUV420P 1  
69.   
70.   
71. //Width, Height  
72. const int screen_w=500,screen_h=500;  
73. const int pixel_w=320,pixel_h=180;  
74. FILE *fp=NULL;  
75.   
76. //Bit per Pixel  
77. #if LOAD_BGRA  
78. const int bpp=32;  
79. #elif LOAD_YUV420P  
80. const int bpp=12;  
81. #endif  
82.   
83. unsigned char buffer[pixel_w*pixel_h*bpp/8];  
84.   
85.   
86. void Cleanup()  
87. {  
88.     EnterCriticalSection(&m_critial);  
89.     if(m_pDirect3DSurfaceRender)  
90.         m_pDirect3DSurfaceRender->Release();  
91.     if(m_pDirect3DDevice)  
92.         m_pDirect3DDevice->Release();  
93.     if(m_pDirect3D9)  
94.         m_pDirect3D9->Release();  
95.     LeaveCriticalSection(&m_critial);  
96. }  
97.   
98.   
99. int InitD3D( HWND hwnd, unsigned long lWidth, unsigned long lHeight )  
100. {  
101.     HRESULT lRet;  
102.     InitializeCriticalSection(&m_critial);  
103.     Cleanup();  
104.   
105.     m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );  
106.     if( m_pDirect3D9 == NULL )  
107.         return -1;  
108.   
109.     D3DPRESENT_PARAMETERS d3dpp;   
110.     ZeroMemory( &d3dpp, sizeof(d3dpp) );  
111.     d3dpp.Windowed = TRUE;  
112.     d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;  
113.     d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;  
114.   
115.     GetClientRect(hwnd,&m_rtViewport);  
116.   
117.     lRet=m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL,hwnd,  
118.         D3DCREATE_SOFTWARE_VERTEXPROCESSING,  
119.         &d3dpp, &m_pDirect3DDevice );  
120.     if(FAILED(lRet))  
121.         return -1;  
122.   
123. #if LOAD_BGRA  
124.     lRet=m_pDirect3DDevice->CreateOffscreenPlainSurface(  
125.         lWidth,lHeight,  
126.         D3DFMT_X8R8G8B8,  
127.         D3DPOOL_DEFAULT,  
128.         &m_pDirect3DSurfaceRender,  
129.         NULL);  
130. #elif LOAD_YUV420P  
131.     lRet=m_pDirect3DDevice->CreateOffscreenPlainSurface(  
132.         lWidth,lHeight,  
133.         (D3DFORMAT)MAKEFOURCC('Y', 'V', '1', '2'),  
134.         D3DPOOL_DEFAULT,  
135.         &m_pDirect3DSurfaceRender,  
136.         NULL);  
137. #endif  
138.   
139.   
140.     if(FAILED(lRet))  
141.         return -1;  
142.   
143.     return 0;  
144. }  
145.   
146.   
147. bool Render()  
148. {  
149.     HRESULT lRet;  
150.     //Read Data  
151.     //RGB  
152.     if (fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp) != pixel_w*pixel_h*bpp/8){  
153.         // Loop  
154.         fseek(fp, 0, SEEK_SET);  
155.         fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp);  
156.     }  
157.       
158.     if(m_pDirect3DSurfaceRender == NULL)  
159.         return -1;  
160.     D3DLOCKED_RECT d3d_rect;  
161.     lRet=m_pDirect3DSurfaceRender->LockRect(&d3d_rect,NULL,D3DLOCK_DONOTWAIT);  
162.     if(FAILED(lRet))  
163.         return -1;  
164.   
165.     byte *pSrc = buffer;  
166.     byte * pDest = (BYTE *)d3d_rect.pBits;  
167.     int stride = d3d_rect.Pitch;  
168.     unsigned long i = 0;  
169.   
170.     //Copy Data  
171. #if LOAD_BGRA  
172.     int pixel_w_size=pixel_w*4;  
173.     for(i=0; i< pixel_h; i++){  
174.         memcpy( pDest, pSrc, pixel_w_size );  
175.         pDest += stride;  
176.         pSrc += pixel_w_size;  
177.     }  
178. #elif LOAD_YUV420P  
179.     for(i = 0;i < pixel_h;i ++){  
180.         memcpy(pDest + i * stride,pSrc + i * pixel_w, pixel_w);  
181.     }  
182.     for(i = 0;i < pixel_h/2;i ++){  
183.         memcpy(pDest + stride * pixel_h + i * stride / 2,pSrc + pixel_w * pixel_h + pixel_w * pixel_h / 4 + i * pixel_w / 2, pixel_w / 2);  
184.     }  
185.     for(i = 0;i < pixel_h/2;i ++){  
186.         memcpy(pDest + stride * pixel_h + stride * pixel_h / 4 + i * stride / 2,pSrc + pixel_w * pixel_h + i * pixel_w / 2, pixel_w / 2);  
187.     }  
188. #endif  
189.   
190.     lRet=m_pDirect3DSurfaceRender->UnlockRect();  
191.     if(FAILED(lRet))  
192.         return -1;  
193.   
194.     if (m_pDirect3DDevice == NULL)  
195.         return -1;  
196.   
197.     m_pDirect3DDevice->Clear( 0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0,0,0), 1.0f, 0 );  
198.     m_pDirect3DDevice->BeginScene();  
199.     IDirect3DSurface9 * pBackBuffer = NULL;  
200.   
201.     m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);  
202.     m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&m_rtViewport,D3DTEXF_LINEAR);  
203.     m_pDirect3DDevice->EndScene();  
204.     m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );  
205.       
206.   
207.     return true;  
208. }  
209.   
210.   
211. LRESULT WINAPI MyWndProc(HWND hwnd, UINT msg, WPARAM wparma, LPARAM lparam)  
212. {  
213.     switch(msg){  
214.     case WM_DESTROY:  
215.         Cleanup();  
216.         PostQuitMessage(0);  
217.         return 0;  
218.     }  
219.     return DefWindowProc(hwnd, msg, wparma, lparam);  
220. }  
221.   
222. int WINAPI WinMain( __in HINSTANCE hInstance, __in_opt HINSTANCE hPrevInstance, __in LPSTR lpCmdLine, __in int nShowCmd )  
223. {  
224.     WNDCLASSEX wc;  
225.     ZeroMemory(&wc, sizeof(wc));  
226.   
227.     wc.cbSize = sizeof(wc);  
228.     wc.hbrBackground = (HBRUSH)(COLOR_WINDOW + 1);  
229.     wc.lpfnWndProc = (WNDPROC)MyWndProc;  
230.     wc.lpszClassName = L"D3D";  
231.     wc.style = CS_HREDRAW | CS_VREDRAW;  
232.   
233.     RegisterClassEx(&wc);  
234.   
235.     HWND hwnd = NULL;  
236.     hwnd = CreateWindow(L"D3D", L"Simplest Video Play Direct3D (Surface)", WS_OVERLAPPEDWINDOW, 100, 100, 500, 500, NULL, NULL, hInstance, NULL);  
237.     if (hwnd==NULL){  
238.         return -1;  
239.     }  
240.       
241.     if(InitD3D( hwnd, pixel_w, pixel_h)==E_FAIL){  
242.         return -1;  
243.     }  
244.   
245.     ShowWindow(hwnd, nShowCmd);  
246.     UpdateWindow(hwnd);  
247.   
248. #if LOAD_BGRA  
249.     fp=fopen("../test_bgra_320x180.rgb","rb+");  
250. #elif LOAD_YUV420P  
251.     fp=fopen("../test_yuv420p_320x180.yuv","rb+");  
252. #endif  
253.     if(fp==NULL){  
254.         printf("Cannot open this file.\n");  
255.         return -1;  
256.     }  
257.   
258.     MSG msg;  
259.     ZeroMemory(&msg, sizeof(msg));  
260.   
261.     while (msg.message != WM_QUIT){  
262.         //PeekMessage, not GetMessage  
263.         if (PeekMessage(&msg, NULL, 0, 0, PM_REMOVE)){  
264.             TranslateMessage(&msg);  
265.             DispatchMessage(&msg);  
266.         }  
267.         else{  
268.             Sleep(40);  
269.             Render();  
270.         }  
271.     }  
272.   
273.   
274.     UnregisterClass(L"D3D", hInstance);  
275.     return 0;  
276. }  

 

代碼注意事項

1.可以通過設置定義在文件開始出的宏，決定讀取哪個格式的像素數據（bgra，yuv420p）。

[cpp] view plaincopy  

1. //set '1' to choose a type of file to play    
2. //Read BGRA data  
3. #define LOAD_BGRA    0  
4. //Read YUV420P data  
5. #define LOAD_YUV420P 1  

2.窗口的寬高為screen_w，screen_h。像素數據的寬高為pixel_w,pixel_h。它們的定義如下。

 

[cpp] view plaincopy  

1. //Width, Height    
2. const int screen_w=500,screen_h=500;    
3. const int pixel_w=320,pixel_h=180;    

 

 

3.其他要點
本程序使用的是Win32的API創建的窗口。但注意這個并不是MFC應用程序的窗口。MFC代碼量太大，并不適宜用來做教程。因此使用Win32的API創建窗口。程序的入口函數是WinMain()，其中調用了CreateWindow()創建了顯示視頻的窗口。此外，程序中的消息循環使用的是PeekMessage()而不是GetMessage()。GetMessage()獲取消息后，將消息從系統中移除，當系統無消息時，會等待下一條消息，是阻塞函數。而函數PeekMesssge()是以查看的方式從系統中獲取消息，可以不將消息從系統中移除（相當于“偷看”消息），是非阻塞函數；當系統無消息時，返回FALSE，繼續執行后續代碼。使用PeekMessage()的好處是可以保證每隔40ms可以顯示下一幀畫面。

運行結果

不論選擇讀取哪個格式的文件，程序的最終輸出效果都是一樣的，如下圖所示。

 

下載

代碼位于“Simplest Media Play”中

SourceForge項目地址：https://sourceforge.net/projects/simplestmediaplay/
CSDN下載地址：http://download.csdn.net/detail/leixiaohua1020/8054395


上述工程包含了使用各種API（Direct3D，OpenGL，GDI，DirectSound，SDL2）播放多媒體例子。其中音頻輸入為PCM采樣數據。輸出至系統的聲卡播放出來。視頻輸入為YUV/RGB像素數據。輸出至顯示器上的一個窗口播放出來。
通過本工程的代碼初學者可以快速學習使用這幾個API播放視頻和音頻的技術。
一共包括了如下幾個子工程：
simplest_audio_play_directsound:  使用DirectSound播放PCM音頻采樣數據。
simplest_audio_play_sdl2:  使用SDL2播放PCM音頻采樣數據。
simplest_video_play_direct3d:  使用Direct3D的Surface播放RGB/YUV視頻像素數據。
simplest_video_play_direct3d_texture:使用Direct3D的Texture播放RGB視頻像素數據。
simplest_video_play_gdi:  使用GDI播放RGB/YUV視頻像素數據。
simplest_video_play_opengl:  使用OpenGL播放RGB/YUV視頻像素數據。
simplest_video_play_opengl_texture: 使用OpenGL的Texture播放YUV視頻像素數據。
simplest_video_play_sdl2:  使用SDL2播放RGB/YUV視頻像素數據。

RFID管理系統集成商 RFID中間件 條碼系統中間層 物聯網軟件集成