最簡單的視音頻播放示例4:Direct3D播放RGB(通過Texture)
本文接著上一篇文章繼續記錄Direct3D(簡稱D3D)播放視頻的技術。上一篇文章中已經記錄了使用Direct3D中的Surface渲染視頻的技術。本文記錄一種稍微復雜但是更加靈活的渲染視頻的方式:使用Direct3D中的Texture(紋理)渲染視頻。
紋理有關的基礎知識
在記錄使用Direct3D的Texture渲染視頻的技術之前,首先記錄一下有關紋理的基礎知識。我自己歸納總結了以下幾點知識。
1. 渲染(Render),紋理(Texture)
剛開始學習Direct3D顯示視頻技術的人一定會有一個疑問:“像GDI那樣直接指定一下像素數據,然后畫在窗口上不就行了?為什么又是渲染又是紋理,搞得這么復雜?”。確實,相比于GDI,Direct3D的入門的代碼要復雜很多。其實Ditect3D中的很多概念并不是出自于視頻領域,而是出自于3D制作。下面簡單記錄一下Direct3D這些概念的意義。
紋理(Texture)
紋理實際上就是一張圖片。個人感覺這個詞的英文Texture其實也可以翻譯成“材質”(“紋理”總給人一種有很多花紋的感覺 =_=)。在3D制作過程中,如果單靠計算機繪制生成3D模型,往往達不到很真實的效果。如果可以把一張2D圖片“貼”到3D模型的表面上,則不但節約了計算機繪圖的計算量,而且也能達到更真實的效果。紋理就是這張“貼圖”。例如,下面這張圖就是把一張“木箱表面”的紋理貼在了一個正六面體的六個面上,從而達到了一個“木箱”的效果(還挺像CS里面的木箱的)。
渲染(Render)
渲染就是從模型生成圖像的過程,通常是3D制作的最后一步。例如上圖的那個木箱,在經過紋理貼圖之后,形成了一個“木箱”模型。但是只有把它作為2D圖像輸出到屏幕上之后,它才能被我們的看見。這個輸出的過程就是渲染。我們也可以調整這個“木箱模型”的參數,達到不同的渲染結果。比如說改變觀察角度等等。
2. 紋理坐標
Direct3D使用一個紋理坐標系統,它是由用水平方向的u軸和豎直方向v軸構成。注意v軸是向下的(OpenGL的v軸是向上的)。需要注意的是,紋理坐標的取值范圍是0-1,而不是像普通坐標那樣以像素為單位。它代表了一種圖像映射的關系。例如紋理坐標是(0.5,0.0),就是把2D紋理橫向二分之一處的點映射到隨后定義的物體頂點上去。
紋理坐標和圖像的大小是沒有關系的。下圖顯示了一大一小兩張圖片中紋理坐標(0,0.5)的位置。可以看出都位于它們寬度中間的位置。
下面有關紋理坐標再多說兩句。舉個例子,紋理圖像分辨率為640x480。我們如果選定(0, 0), (0, 1), (1, 0), (1, 1)四個紋理坐標的點對紋理圖像映射的話,就是映射的整個紋理圖片。如果我們選擇(0, 0), (0, 1), (0.5, 0), (0.5, 1) 四個紋理坐標的點對紋理圖像映射的話,就是映射左半邊的紋理圖片(相當于右半邊圖片不要了),相當于取了一張320x480的圖片。但是有一點需要注意,映射的紋理圖片不一定是“矩形”的。實際上可以指定任意形狀的紋理坐標進行映射。下面這張圖就是映射了一個梯形的紋理到目標物體表面。這也是紋理(Texture)比上一篇文章中記錄的表面(Surface)更加靈活的地方。
當然,使用Direct3D播放視頻的時候,還是映射整個紋理畫面的,不然視頻就沒法看了。下面那本文記錄的程序做幾個示例。
輸入像素數據的分辨率是320x180。把它作為紋理的時候,它的紋理坐標如下圖所示。
我們可以映射整張紋理到目標物體表面。把紋理坐標(0,0),(0,1)(1,0),(1,1)映射到坐標(0,0), (0,180), (320,0), (320,180)后的結果如下圖所示。
可以試著修改一下目標物體表面的坐標。把紋理坐標(0,0),(0,1)(1,0),(1,1)映射到坐標(80,0), (0,135), (320,45), (240,180)后的結果如下圖所示。相當于把紋理“旋轉”了一下。
也可以試著修改一下紋理的坐標。把紋理坐標(0,0),(0,1)(0.5,0),(0.5,1)映射到坐標(0,0), (0,180), (320,0), (320,180)后的結果如下圖所示。由圖可見,“故宮”只有左半邊了。
此外紋理映射還有其他更多的功能,使用起來非常靈活,就不一一記錄了。
3. 靈活頂點格式(Flexible Vertex Format,FVF)
上文記錄了紋理到目標物體表面坐標的映射,但究竟是什么變量建立起了這二者之間的聯系呢?就是靈活頂點格式。靈活頂點格式(Flexible Vertex Format,FVF)在Direct3D中用來描述一個頂點。靈活頂點格式可以讓我們隨心所欲地自定義其中所包含的頂點屬性信息。例如,指定頂點的三維坐標、顏色、頂點法線和紋理坐標等等。比如我們可以定義一個只包含頂點三維坐標和顏色的結構體:
[cpp] view plaincopy
- struct CUSTOMVERTEX
- {
- float x, y, z; //頂點的三維坐標值,x,y,z
- DWORD color; //頂點的顏色值
- };
也可以定義一個復雜一點,包含很多屬性的頂點:
[cpp] view plaincopy- struct NormalTexVertex
- {
- float x, y, z; // 頂點坐標
- float nx, ny, nz; // 法線向量
- float u, v; // 紋理坐標
- };
但單單定義出結構體, Direct3D是不能理解我們在干嘛的,這時候,我們需要一個宏來傳達我們定義的頂點有哪些屬性。
比如剛剛我定義的CUSTOMVERTEX結構體就可以通過以下方式來描述:
[cpp] view plaincopy
- #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE)
需要注意的是:上述的定義是有順序的。Direct3D支持下述定義。
序號
標示
含義
1
D3DFVF_XYZ
包含未經過坐標變換的頂點坐標值,不可以和D3DFVF_XYZRHW一起使用
2
D3DFVF_XYZRHW
包含經過坐標變換的頂點坐標值,不可以和D3DFVF_XYZ以及D3DFVF_NORMAL一起使用
3
D3DFVF_XYZB1~5
標示頂點混合的權重值
4
D3DFVF_NORMAL
包含法線向量的數值
5
D3DFVF_DIFFUSE
包含漫反射的顏色值
6
D3DFVF_SPECULAR
包含鏡面反射的數值
7
D3DFVF_TEX1~8
表示包含1~8個紋理坐標信息,是幾重紋理后綴就用幾,最多8層紋理
下面給出一個使用Direct3D播放視頻的時候的自定義頂點類型的代碼。
- typedef struct
- {
- FLOAT x,y,z;
- FLOAT rhw;
- D3DCOLOR diffuse;
- FLOAT tu, tv;
- } CUSTOMVERTEX;
- #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)
從上述代碼中可以看出,其中包含了一個頂點在目標物體表面的坐標(x, y),以及它的紋理坐標(tu, tv)。修改上述兩個坐標的值,就可以實現各種各樣的映射了。
PS:z坐標在這里用不到。
4. 紋理(Texture)和表面(Surface)的區別與聯系
Surfaces是一個存儲2D圖像的內存。
Textures是一張貼圖。Texture的圖像數據存儲于它的Surface中。一個Texture可以包含多個Surface。
D3D視頻顯示的流程
下文將會結合代碼記錄Direct3D中與視頻顯示相關的功能。
函數分析
有關DirectX的安裝可以參考前文,不再記錄。在這里只記錄一下使用Direct3D的Texture渲染視頻的步驟:
1. 創建一個窗口(不屬于D3D的API)
2. 初始化
1) 創建一個Device
2) 設置一些參數(非必須)
3) 基于Device創建一個Texture
4) 基于Device創建一個VertexBuffer
5) 填充VertexBuffer
3. 循環顯示畫面
1) 清理
2) 一幀視頻數據拷貝至Texture
3) 開始一個Scene
4) Device需要啟用的Texture
5) Device綁定VertexBuffer
6) 渲染
7) 顯示
下面結合Direct3D的Texture播放RGB的示例代碼,詳細分析一下上文的流程。注意有一部分代碼和上一篇文章中介紹的Direct3D的Surface播放視頻的代碼是一樣的,這里再重復一下。
1. 創建一個窗口(不屬于D3D的API)
建立一個Win32的窗口程序,就可以用于Direct3D的顯示。程序的入口函數是WinMain(),調用CreateWindow()即可創建一個窗口。
2. 初始化
1) 創建一個Device
這一步完成的時候,可以得到一個IDirect3DDevice9接口的指針。創建一個Device又可以分成以下幾個詳細的步驟:
(a) 通過 Direct3DCreate9()創建一個IDirect3D9接口。
獲取IDirect3D9接口的關鍵實現代碼只有一行:
[cpp] view plaincopy- IDirect3D9 *m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );
IDirect3D9接口是一個代表我們顯示3D圖形的物理設備的C++對象。它可以用于獲得物理設備的信息和創建一個IDirect3DDevice9接口。例如,可以通過它的GetAdapterDisplayMode()函數獲取當前主顯卡輸出的分辨率,刷新頻率等參數,實現代碼如下。
[cpp] view plaincopy
- D3DDISPLAYMODE d3dDisplayMode;
- lRet = m_pDirect3D9->GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &d3dDisplayMode );
由代碼可以看出,獲取的信息存儲在D3DDISPLAYMODE結構體中。D3DDISPLAYMODE結構體中包含了主顯卡的分辨率等信息:
[cpp] view plaincopy
- /* Display Modes */
- typedef struct _D3DDISPLAYMODE
- {
- UINT Width;
- UINT Height;
- UINT RefreshRate;
- D3DFORMAT Format;
- } D3DDISPLAYMODE;
也可以用它的GetDeviceCaps()函數搞清楚主顯卡是否支持硬件頂點處理,實現的代碼如下。
- D3DCAPS9 d3dcaps;
- lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps);
- int hal_vp = 0;
- if( d3dcaps.DevCaps & D3DDEVCAPS_HWTRANSFORMANDLIGHT ){
- // yes, save in ‘vp’ the fact that hardware vertex
- // processing is supported.
- hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING;
- }
由代碼可以看出,獲取的設備信息存儲在D3DCAPS9結構體中。D3DCAPS9定義比較長包含了各種各樣的信息,不再列出來。從該結構體的DevCaps字段可以判斷得出該設備是否支持硬件頂點處理。
(b) 設置D3DPRESENT_PARAMETERS結構體,為創建Device做準備。
接下來填充一個D3DPRESENT_PARAMETERS結構的實例。這個結構用于設定我們將要創建的IDirect3DDevice9對象的一些特性,它的定義如下。
[cpp] view plaincopy- typedef struct _D3DPRESENT_PARAMETERS_
- {
- UINT BackBufferWidth;
- UINT BackBufferHeight;
- D3DFORMAT BackBufferFormat;
- UINT BackBufferCount;
- D3DMULTISAMPLE_TYPE MultiSampleType;
- DWORD MultiSampleQuality;
- D3DSWAPEFFECT SwapEffect;
- HWND hDeviceWindow;
- BOOL Windowed;
- BOOL EnableAutoDepthStencil;
- D3DFORMAT AutoDepthStencilFormat;
- DWORD Flags;
- /* FullScreen_RefreshRateInHz must be zero for Windowed mode */
- UINT FullScreen_RefreshRateInHz;
- UINT PresentationInterval;
- } D3DPRESENT_PARAMETERS;
D3DPRESENT_PARAMETERS這個結構體比較重要。詳細列一下它每個參數的含義:
BackBufferWidth:后備緩沖表面的寬度(以像素為單位)
BackBufferHeight:后備緩沖表面的高度(以像素為單位)
BackBufferFormat:后備緩沖表面的像素格式(如:32位像素格式為D3DFMT:A8R8G8B8)
BackBufferCount:后備緩沖表面的數量,通常設為“1”,即只有一個后備表面
MultiSampleType:全屏抗鋸齒的類型,顯示視頻沒用到,不詳細分析。
MultiSampleQuality:全屏抗鋸齒的質量等級,顯示視頻沒用到,不詳細分析。
SwapEffect:指定表面在交換鏈中是如何被交換的。支持以下取值:
*D3DSWAPEFFECT_DISCARD:后備緩沖區的東西被復制到屏幕上后,后備緩沖區的東西就沒有什么用了,可以丟棄了。
*D3DSWAPEFFECT_FLIP: 后備緩沖拷貝到前臺緩沖,保持后備緩沖內容不變。當后備緩沖大于1個時使用。
*D3DSWAPEFFECT_COPY: 同上。當后備緩沖等于1個時使用。
一般使用D3DSWAPEFFECT_DISCARD。
hDeviceWindow:與設備相關的窗口句柄,你想在哪個窗口繪制就寫那個窗口的句柄
Windowed:BOOL型,設為true則為窗口模式,false則為全屏模式
EnableAutoDepthStencil:設為true,D3D將自動創建深度/模版緩沖。
AutoDepthStencilFormat:深度/模版緩沖的格式
Flags:一些附加特性
FullScreen_RefreshRateInHz:刷新率,設定D3DPRESENT_RATE_DEFAULT使用默認刷新率
PresentationInterval:設置刷新的間隔,可以用以下方式:
*D3DPRENSENT_INTERVAL_DEFAULT,則說明在顯示一個渲染畫面的時候必要等候顯示器刷新完一次屏幕。例如顯示器刷新率設為80Hz的話,則一秒最多可以顯示80個渲染畫面。
*D3DPRENSENT_INTERVAL_IMMEDIATE:表示可以以實時的方式來顯示渲染畫面。
下面列出使用Direct3D播放視頻的時候的一個典型的設置。可以看出有一些參數都是設置的False:
- //D3DPRESENT_PARAMETERS Describes the presentation parameters.
- D3DPRESENT_PARAMETERS d3dpp;
- ZeroMemory( &d3dpp, sizeof(d3dpp) );
- d3dpp.BackBufferWidth = lWidth;
- d3dpp.BackBufferHeight = lHeight;
- d3dpp.BackBufferFormat = D3DFMT_X8R8G8B8;
- d3dpp.BackBufferCount = 1;
- d3dpp.MultiSampleType = D3DMULTISAMPLE_NONE;
- d3dpp.SwapEffect = D3DSWAPEFFECT_COPY;
- d3dpp.hDeviceWindow = hwnd;
- d3dpp.Windowed = TRUE;
- d3dpp.EnableAutoDepthStencil = FALSE;
- d3dpp.Flags = D3DPRESENTFLAG_VIDEO;
- d3dpp.PresentationInterval = D3DPRESENT_INTERVAL_DEFAULT;
(c) 通過IDirect3D9的CreateDevice ()創建一個Device。
最后就可以調用IDirect3D9的CreateDevice()方法創建Device了。
CreateDevice()的函數原型如下:
[cpp] view plaincopy- HRESULT CreateDevice(
- UINT Adapter,
- D3DDEVTYPE DeviceType,
- HWND hFocusWindow,
- DWORD BehaviorFlags,
- D3DPRESENT_PARAMETERS *pPresentationParameters,
- IDirect3DDevice9** ppReturnedDeviceInterface
- );
其中每個參數的含義如下所列:
Adapter:指定對象要表示的物理顯示設備。D3DADAPTER_DEFAULT始終是主要的顯示器適配器。
DeviceType:設備類型,包括D3DDEVTYPE_HAL(Hardware Accelerator,硬件加速)、D3DDEVTYPE_SW(SoftWare,軟件)。
hFocusWindow:同我們在前面d3dpp.hDeviceWindow的相同
BehaviorFlags:設定為D3DCREATE_SOFTWARE_VERTEXPROCESSING(軟件頂點處理)或者D3DCREATE_HARDWARE_VERTEXPROCESSING(硬件頂點處理),使用前應該用D3DCAPS9來檢測用戶計算機是否支持硬件頂點處理功能。
pPresentationParameters:指定一個已經初始化好的D3DPRESENT_PARAMETERS實例
ppReturnedDeviceInterface:返回創建的Device
下面列出使用Direct3D播放視頻的時候的一個典型的代碼。
- IDirect3DDevice9 *m_pDirect3DDevice;
- D3DPRESENT_PARAMETERS d3dpp;
- …
- m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL, NULL,
- D3DCREATE_SOFTWARE_VERTEXPROCESSING|D3DCREATE_MULTITHREADED, &d3dpp, &m_pDirect3DDevice );
2) 設置一些參數(非必須)
這一步不是必需的。創建完成IDirect3DDevice9之后,就可以針對該Device設置一些參數了。IDirect3DDevice9提供了一系列設置參數的API,在這里無法一一列舉,僅列出幾個在視頻播放過程中設置參數需要用到的API:SetSamplerState(),SetRenderState(),SetTextureStageState()。
Direct3D函數命名
在記錄著幾個函數的作用之前,先說一下IDirect3D中函數的命名特點:所有接口中的函數名稱都重新定義了一遍。原來形如XXXX->YYYY(….)的函數,名稱改為了IDirect3DXXXX_YYYY(XXXX,…)。即原本接口的指針移動到了函數內部成為了第一個參數,同時函數名稱前面加上了“IDirect3DXXXX_”。這樣描述說不清楚,舉個具體的例子吧。比如說調用IDirect3DDevice9中的SetSamplerState可以采用如下方法:
[cpp] view plaincopy- IDirect3DDevice9 * m_pDirect3DDevice;
- …
- m_pDirect3DDevice->SetSamplerState(0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
實際上也可以使用如下方法:
- IDirect3DDevice9 * m_pDirect3DDevice;
- …
- IDirect3DDevice9_SetSamplerState (m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
設置參數
設置參數這里用到了3個API:SetSamplerState(),SetRenderState(),SetTextureStageState()。其中SetSamplerState()可以設置枚舉類型D3DSAMPLERSTATETYPE的屬性的值。SetRenderState()可以設置枚舉類型D3DRENDERSTATETYPE的屬性的值。SetTextureStageState()可以設置枚舉類型D3DTEXTURESTAGESTATETYPE的屬性的值。以上3個枚舉類型中的數據太多,無法一一列舉。在這里直接列出Direct3D播放視頻的時候的設置代碼:
[cpp] view plaincopy- //SetSamplerState()
- // Texture coordinates outside the range [0.0, 1.0] are set
- // to the texture color at 0.0 or 1.0, respectively.
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSU, D3DTADDRESS_CLAMP);
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSV, D3DTADDRESS_CLAMP);
- // Set linear filtering quality
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
- //SetRenderState()
- //set maximum ambient light
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_AMBIENT, D3DCOLOR_XRGB(255,255,0));
- // Turn off culling
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_CULLMODE, D3DCULL_NONE);
- // Turn off the zbuffer
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ZENABLE, D3DZB_FALSE);
- // Turn off lights
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_LIGHTING, FALSE);
- // Enable dithering
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DITHERENABLE, TRUE);
- // disable stencil
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_STENCILENABLE, FALSE);
- // manage blending
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHABLENDENABLE, TRUE);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_SRCBLEND,D3DBLEND_SRCALPHA);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DESTBLEND,D3DBLEND_INVSRCALPHA);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHATESTENABLE,TRUE);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAREF, 0x10);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAFUNC,D3DCMP_GREATER);
- // Set texture states
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLOROP,D3DTOP_MODULATE);
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG1,D3DTA_TEXTURE);
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG2,D3DTA_DIFFUSE);
- // turn off alpha operation
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_ALPHAOP, D3DTOP_DISABLE);
這些代碼設定的屬性值確實太多,我自己也沒能一一研究。這些屬性不設置的話也可以顯示,可能會影響到顯示的效果,在這里不再詳細敘述。
3) 基于Device創建一個Texture
通過IDirect3DDevice9接口的CreateTexture()方法可以創建一個Texture。CreateTexture()的函數原型如下所示:
[cpp] view plaincopy- HRESULT CreateTexture(
- UINT Width,
- UINT Height,
- UINT Levels,
- DWORD Usage,
- D3DFORMAT Format,
- D3DPOOL Pool,
- IDirect3DTexture9 **ppTexture,
- HANDLE *pSharedHandle
- );
其中每個參數的含義如下所列:
Width:寬。
Height:高。
Levels:設為1。
Usage:可以設定一些選項。例如D3DUSAGE_SOFTWAREPROCESSING表示使用軟件來進行頂點運算,不指定這個值的話,就取的是默認方式:硬件頂點運算。
Format:
Pool:D3DPOOL定義了資源對應的內存類型,例如如下幾種類型。
D3D3POOL_DEFAULT:默認值,表示存在于顯卡的顯存中。
D3D3POOL_MANAGED:由Direct3D自由調度內存的位置(顯存或者緩存中)。
D3DPOOL_SYSTEMMEM: 表示位于內存中。
ppTexture:得到的Texture。
pSharedHandle:可以設為NULL。
下面給出一個使用Direct3D播放視頻的時候CreateTexture()的典型代碼。
- IDirect3DDevice9 * m_pDirect3DDevice;
- IDirect3DTexture9 *m_pDirect3DTexture;
- …
- m_pDirect3DDevice->CreateTexture(lWidth, lHeight, 1, D3DUSAGE_SOFTWAREPROCESSING,
- D3DFMT_X8R8G8B8,
- D3DPOOL_MANAGED,
- &m_pDirect3DTexture, NULL );
4) 基于Device創建一個VertexBuffer
通過IDirect3DDevice9接口的CreateVertexBuffer()方法即可創建一個VertexBuffer。CreateVertexBuffer ()的函數原型如下所示:
[cpp] view plaincopy- HRESULT IDirect3DDevice9::CreateVertexBuffer(
- UINT Length,
- DWORD Usage,
- DWORD FVF,
- D3DPOOL Pool,
- IDirectVertexBuffer9** ppVertexBuffer,
- HANDLE pHandle
- );
其中每個參數的含義如下所列:
Length:指定頂點緩沖區的大小,以字節為單位
Usage:指定頂點緩沖區屬性(上文已經說過)。它可以設為0或幾種值的組合,例如D3DUSAGE_SOFTWAREPROCESSING表示使用軟件進行頂點計算,否則使用硬件進行頂點計算
FVF:表示頂點的靈活頂點格式,可以設置D3DFVF_DIFFUSE,D3DFVF_XYZRHW等值。注意其中有些值不能同時使用。
Pool:D3DPOOL定義了資源對應的內存類型,例如如下幾種類型(上文已經說過)。
D3D3POOL_DEFAULT: 默認值,表示頂點緩存存在于顯卡的顯存中。
D3D3POOL_MANAGED:由Direct3D自由調度頂點緩沖區內存的位置(顯存或者緩存中)。
D3DPOOL_SYSTEMMEM: 表示頂點緩存位于內存中。
ppVertexBuffer:是一個指向創建的頂點緩沖區地址的指針,用于返回頂點緩沖區的地址
pSharedHandle:是一個保留參數,可設置為NULL
下面給出一個使用Direct3D播放視頻的時候CreateVertexBuffer ()的典型代碼。
- IDirect3DDevice9 * m_pDirect3DDevice;
- IDirect3DVertexBuffer9 *m_pDirect3DVertexBuffer;
- typedef struct
- {
- FLOAT x,y,z;
- FLOAT rhw;
- D3DCOLOR diffuse;
- FLOAT tu, tv;
- } CUSTOMVERTEX;
- #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)
- …
- m_pDirect3DDevice->CreateVertexBuffer( 4 * sizeof(CUSTOMVERTEX),
- 0, D3DFVF_CUSTOMVERTEX, D3DPOOL_DEFAULT, &m_pDirect3DVertexBuffer, NULL );
上述代碼中用到了一個名為CUSTOMVERTEX自定義的靈活頂點格式(Flexible Vertex Format簡稱FVF)。前文已經介紹,這里不再重復。
5) 填充VertexBuffer
通過IDirect3DVertexBuffer9接口的Lock()函數可以鎖定VertexBuffer并且填充其中的數據。數據填充完畢后,可以調用IDirect3DVertexBuffer9d的Unlock()方法解鎖。
其中每個參數的含義如下所列:
OffsetToLock: 指定加鎖內存起始地址。
SizeToLock:指定加鎖內存大小。
ppbData: 用于返回內存指針地址。
Flags: 表示頂點緩沖區的加鎖屬性。
下面給出一個使用Direct3D播放視頻的時候IDirect3DVertexBuffer9的Lock ()的典型代碼。其中的CUSTOMVERTEX是自定義的靈活頂點格式。
- //Flexible Vertex Format, FVF
- typedef struct{
- FLOAT x,y,z; // vertex untransformed position
- FLOAT rhw; // eye distance
- D3DCOLOR diffuse; // diffuse color
- FLOAT tu, tv; // texture relative coordinates
- } CUSTOMVERTEX;
- IDirect3DVertexBuffer9 *m_pDirect3DVertexBuffer;
- …
- CUSTOMVERTEX *pVertex;
- lRet = m_pDirect3DVertexBuffer->Lock( 0, 4 * sizeof(CUSTOMVERTEX), (void**)&pVertex, 0 );
加鎖之后,直接通過賦值的方法設定自定義的定點數組就可以了,例如上文中的pVertex中的數據的設置如下所示。其中lWidth和lHeight分別代表了視頻顯示窗口的寬和高。
- pVertex[0].x = 0.0f; // left
- pVertex[0].y = 0.0f; // top
- pVertex[0].z = 0.0f;
- pVertex[0].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);
- pVertex[0].rhw = 1.0f;
- pVertex[0].tu = 0.0f;
- pVertex[0].tv = 0.0f;
- pVertex[1].x = lWidth; // right
- pVertex[1].y = 0.0f; // top
- pVertex[1].z = 0.0f;
- pVertex[1].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);
- pVertex[1].rhw = 1.0f;
- pVertex[1].tu = 1.0f;
- pVertex[1].tv = 0.0f;
- pVertex[2].x = lWidth; // right
- pVertex[2].y = lHeight; // bottom
- pVertex[2].z = 0.0f;
- pVertex[2].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);
- pVertex[2].rhw = 1.0f;
- pVertex[2].tu = 1.0f;
- pVertex[2].tv = 1.0f;
- pVertex[3].x = 0.0f; // left
- pVertex[3].y = lHeight; // bottom
- pVertex[3].z = 0.0f;
- pVertex[3].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);
- pVertex[3].rhw = 1.0f;
- pVertex[3].tu = 0.0f;
- pVertex[3].tv = 1.0f;
從代碼中可以看出,x、y分別指定了映射后的坐標。z在這里沒有用到。Diffuse在這里設定的是白色。tu、tv分別指定了紋理坐標。
數據設定完后,調用Unlock()即可。
[cpp] view plaincopy- m_pDirect3DVertexBuffer->Unlock();
填充VertexBuffer完成之后,初始化工作就完成了。
3. 循環顯示畫面
循環顯示畫面就是一幀一幀的讀取YUV/RGB數據,然后顯示在屏幕上的過程,下面詳述一下步驟。
1) 清理
在顯示之前,通過IDirect3DDevice9接口的Clear()函數可以清理Surface。個人感覺在播放視頻的時候用不用這個函數都可以。因為視頻本身就是全屏顯示的。顯示下一幀的時候自然會覆蓋前一幀的所有內容。Clear()函數的原型如下所示:
[cpp] view plaincopy- HRESULT Clear(
- DWORD Count,
- const D3DRECT *pRects,
- DWORD Flags,
- D3DCOLOR Color,
- float Z,
- DWORD Stencil
- );
其中每個參數的含義如下所列:
Count:說明你要清空的矩形數目。如果要清空的是整個客戶區窗口,則設為0。
pRects:這是一個D3DRECT結構體的一個數組,如果count中設為5,則這個數組中就得有5個元素。
Flags:一些標記組合。只有三種標記:D3DCLEAR_STENCIL , D3DCLEAR_TARGET , D3DCLEAR_ZBUFFER。
Color:清除目標區域所使用的顏色。
float:設置Z緩沖的Z初始值。Z緩沖還沒研究過,不再記錄。
Stencil:這個在播放視頻的時候也沒有用到,不再記錄。
下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的Clear()的典型代碼。
- IDirect3DDevice9 *m_pDirect3DDevice;
- m_pDirect3DDevice->Clear(0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0, 0, 255), 1.0f, 0);
上述代碼運行完后,屏幕會變成藍色(R,G,B取值為0,0,255)。
2) 一幀視頻數據拷貝至Texture
操作Texture的像素數據,需要使用IDirect3DTexture9的LockRect()和UnlockRect()方法。使用LockRect()鎖定紋理上的一塊矩形區域,該矩形區域被映射成像素數組。利用函數返回的D3DLOCKED_RECT結構體,可以對數組中的像素進行直接存取。LockRect()函數原型如下。
[cpp] view plaincopy- HRESULT LockRect(
- UINT Level,
- D3DLOCKED_RECT *pLockedRect,
- const RECT *pRect,
- DWORD Flags
- );
每個參數的意義如下:
Level: 指定了鎖定的紋理是哪一層。
pLockedRect: 返回的一個D3DLOCKED_RECT結構體用于描述被鎖定的區域。
pRect: 使用一個 RECT結構體指定需要鎖定的區域。如果為NULL的話就是整個區域。
Flags: 暫時還沒有細研究。
其中D3DLOCKED_RECT結構體定義如下所示。
- typedef struct _D3DLOCKED_RECT
- {
- INT Pitch;
- void* pBits;
- } D3DLOCKED_RECT;
兩個參數的意義如下:
Pitch:Texture中一行像素的數據量(Bytes)。注意,這個值和設備有關,一般為4的整數倍,可能會大于一行像素的數據量。大于的那部分是無效的數據。
pBits:指向被鎖定的數據。
結構如下圖所示。
使用LockRect()函數之后,就可以對其返回的D3DLOCKED_RECT中的數據進行操作了。例如memcpy()等。操作完成后,調用UnlockRect()方法。
下面給出一個使用Direct3D播放視頻的時候IDirect3DTexture9的數據拷貝的典型代碼。
[cpp] view plaincopy
- IDirect3DTexture9 *m_pDirect3DTexture;
- ...
- D3DLOCKED_RECT d3d_rect;
- // Copy pixel data to texture
- m_pDirect3DTexture->LockRect( 0, &d3d_rect, 0, 0 );
- byte *pSrc = buffer;
- byte *pDest = (byte *)d3d_rect.pBits;
- int stride = d3d_rect.Pitch;
- int pixel_w_size=pixel_w*bpp/8;
- for(unsigned long i=0; i< pixel_h; i++){
- memcpy( pDest, pSrc, pixel_w_size );
- pDest += stride;
- pSrc += pixel_w_size;
- }
- m_pDirect3DTexture->UnlockRect( 0 );
從代碼中可以看出,是一行一行的拷貝像素數據的。
3) 開始一個Scene
使用IDirect3DDevice9接口的BeginScene()開始一個Scene。Direct3D中規定所有繪制方法都必須在BeginScene()和EndScene()之間完成。這個函數沒有參數。
4) Device設置需要啟用的Texture
使用IDirect3DDevice9接口的SetTexture ()設置我們當前需要啟用的紋理。SetTexture()函數的原型如下。
[cpp] view plaincopy
- HRESULT SetTexture( DWORD Sampler,IDirect3DBaseTexture9 *pTexture );
其中每個參數的含義如下所列:
Sampler:指定了應用的紋理是哪一層。Direct3D中最多可以設置8層紋理,所以這個參數取值就在0~7之間了。
pTexture:表示我們將要啟用的紋理的IDirect3DBaseTexture9接口對象。
下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的SetTexture ()的典型代碼。
- IDirect3DDevice9 *m_pDirect3DDevice;
- IDirect3DTexture9 *m_pDirect3DTexture;
- …
- m_pDirect3DDevice->SetTexture( 0, m_pDirect3DTexture );
5) Device綁定VertexBuffer
使用IDirect3DDevice9接口的SetStreamSource()綁定VertexBuffer。SetStreamSource()方法把一個頂點緩存綁定到一個設備數據流,這樣就在頂點數據和一個頂點數據流端口之間建立了聯系。
而后使用SetFVF()設置頂點格式。即告知系統如何解讀VertexBuffer中的數據。
SetStreamSource()函數的原型如下。
- HRESULT SetStreamSource(
- UINT StreamNumber,
- IDirect3DVertexBuffer9 *pStreamData,
- UINT OffsetInBytes,
- UINT Stride
- );
幾個參數的定義如下:
StreamNumber:指定數據流。
pStreamData:指向IDirect3DVertexBuffer9的指針,用于綁定數據流。
OffsetInBytes:還沒有研究該字段。
Stride:單位Vertex數據的大小。
下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的SetStreamSource()和SetFVF()的典型代碼。
- IDirect3DDevice9 *m_pDirect3DDevice;
- //Flexible Vertex Format, FVF
- typedef struct
- {
- FLOAT x,y,z; // vertex untransformed position
- FLOAT rhw; // eye distance
- D3DCOLOR diffuse; // diffuse color
- FLOAT tu, tv; // texture relative coordinates
- } CUSTOMVERTEX;
- // Custom flexible vertex format (FVF), which describes custom vertex structure
- #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)
- //...
- m_pDirect3DDevice->SetStreamSource( 0, m_pDirect3DVertexBuffer,0, sizeof(CUSTOMVERTEX) );
- m_pDirect3DDevice->SetFVF( D3DFVF_CUSTOMVERTEX );
6) 渲染
使用IDirect3DDevice9接口的DrawPrimitive()進行渲染。渲染完成后,就可以使用EndScene()結束這個Scene了。DrawPrimitive()函數原型如下。
- HRESULT DrawPrimitive(
- D3DPRIMITIVETYPE PrimitiveType,
- UINT StartVertex,
- UINT PrimitiveCount
- );
幾個參數的意義如下:
PrimitiveType:一個標記,它通知 Direct3D 以哪種方式渲染物件。
StartVertex:第一個頂點的索引。
PrimitiveCount:通知繪制的物件的數目。
PrimitiveType有下面選項(注:這個地方不太好理解,直接使用D3DPT_TRIANGLEFAN也可以)
D3DPT_POINTLIST
點列表:將一連串的頂點作為像素進行繪制
D3DPT_LINELIST
線列表:彼此孤立(彼此沒有發生連接)的一些直線
D3DPT_LINESTRIP
線帶:一連串連接的直線。每條直線都是從前一個頂點到當前頂點繪制而成,很像連接點
D3DPT_TRIANGLELIST
三角形列表:這個設置比較簡單,索引區每隔三個一個三角形。
D3DPT_TRIANGLESTRIP
三角形帶:索引區中每三個一個三角形,前一個三角形的后兩個頂點和后一個三角形的前兩個頂點重合。即繪制的第一個三邊形使用3個頂點,后面繪制的每一個三角形只使用一個額外的頂點。
D3DPT_TRIANGLEFAN
三角扇形:索引區中第一個點為公共頂點,后面依次展開,每兩個點和公共定點組成三角形。
下圖顯示了幾種不同的渲染物件的方式。圖中分別按順序1,3,5,7,9…渲染這些點。
對應的代碼如下所示
[cpp] view plaincopy- //從第0個點開始用D3DPT_POINTLIST模式渲染6個點
- m_pDirect3DDevice->DrawPrimitive(D3DPT_POINTLIST,0,6);
- //從第0個點開始用D3DPT_LINELIST 模式渲染3條線
- m_pDirect3DDevice->DrawPrimitive(D3DPT_LINELIST,0,3);
- //從第0個點開始用D3DPT_TRIANGLESTRIP 模式渲染4個三角形
- m_pDirect3DDevice->DrawPrimitive(D3DPT_TRIANGLESTRIP,0,4);
- //從第0個點開始用D3DPT_TRIANGLEFAN模式渲染3個三角形
- m_pDirect3DDevice->DrawPrimitive(D3DPT_TRIANGLEFAN,0,3);
- //從第0個點開始用D3DPT_LINESTRIP 模式渲染5條線
- m_pDirect3DDevice->DrawPrimitive(D3DPT_LINELIST,0,5);
- //從第0個點開始用D3DPT_TRIANGLELIST 模式渲染2個三角形
- m_pDirect3DDevice->DrawPrimitive(D3DPT_TRIANGLELIST,0,2);
下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的DrawPrimitive ()的典型代碼。
[cpp] view plaincopy- IDirect3DDevice9 *m_pDirect3DDevice;
- …
- m_pDirect3DDevice->DrawPrimitive( D3DPT_TRIANGLEFAN, 0, 2 );
7) 顯示
使用IDirect3DDevice9接口的Present ()顯示結果。Present ()的原型如下。
- HRESULT Present(
- const RECT *pSourceRect,
- const RECT *pDestRect,
- HWND hDestWindowOverride,
- const RGNDATA *pDirtyRegion
- );
幾個參數的意義如下:
pSourceRect:你想要顯示的后備緩沖區的一個矩形區域。設為NULL則表示要把整個后備緩沖區的內容都顯示。
pDestRect:表示一個顯示區域。設為NULL表示整個客戶顯示區。
hDestWindowOverride:你可以通過它來把顯示的內容顯示到不同的窗口去。設為NULL則表示顯示到主窗口。
pDirtyRegion:高級使用。一般設為NULL
下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的Present ()的典型代碼。可見直接全部設置為NULL就可以了。
- IDirect3DDevice9 *m_pDirect3DDevice;
- …
- m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );
播放視頻流程總結
文章至此,使用Direct3D顯示YUV/RGB的全部流程就記錄完畢了。最后貼一張圖總結上述流程。
數據結構總結
在Direct3D播放YUV/RGB的流程中,用到了許多的數據結構,現在理一下它們之間的關系,如下圖所示。
接口如下所列
IDirect3D9
IDirect3DDevice9
IDirect3DTexture9
IDirect3DVertexBuffer9
結構體如下所列
D3DCAPS9
D3DDISPLAYMODE
D3DPRESENT_PARAMETERS
D3DLOCKED_RECT
CUSTOMVERTEX
代碼
完成的代碼其實長度并不長,如下所示。
[cpp] view plaincopy- /**
- * 最簡單的Direct3D播放視頻的例子(Direct3D播放RGB)[Texture]
- * Simplest Video Play Direct3D (Direct3D play RGB)[Texture]
- *
- * 雷霄驊 Lei Xiaohua
- * leixiaohua1020@126.com
- * 中國傳媒大學/數字電視技術
- * Communication University of China / Digital TV Technology
- * http://blog.csdn.net/leixiaohua1020
- *
- * 本程序使用Direct3D播放RGB/YUV視頻像素數據。使用D3D中的Texture渲染數據。
- * 相對于使用Surface渲染視頻數據來說,使用Texture渲染視頻數據功能更加靈活,
- * 但是學習起來也會相對復雜一些。
- *
- * 函數調用步驟如下:
- *
- * [初始化]
- * Direct3DCreate9():獲得IDirect3D9
- * IDirect3D9->CreateDevice():通過IDirect3D9創建Device(設備)
- * IDirect3DDevice9->CreateTexture():通過Device創建一個Texture(紋理)。
- * IDirect3DDevice9->CreateVertexBuffer():通過Device創建一個VertexBuffer(頂點緩存)。
- * IDirect3DVertexBuffer9->Lock():鎖定頂點緩存。
- * memcpy():填充頂點緩存。
- * IDirect3DVertexBuffer9->Unlock():解鎖頂點緩存。
- *
- * [循環渲染數據]
- * IDirect3DTexture9->LockRect():鎖定紋理。
- * memcpy():填充紋理數據
- * IDirect3DTexture9->UnLockRect():解鎖紋理。
- * IDirect3DDevice9->BeginScene():開始繪制。
- * IDirect3DDevice9->SetTexture():設置當前要渲染的紋理。
- * IDirect3DDevice9->SetStreamSource():綁定VertexBuffer。
- * IDirect3DDevice9->SetFVF():設置Vertex格式。
- * IDirect3DDevice9->DrawPrimitive():渲染。
- * IDirect3DDevice9->EndScene():結束繪制。
- * IDirect3DDevice9->Present():顯示出來。
- *
- * This software plays RGB/YUV raw video data using Direct3D.
- * It uses Texture in D3D to render the pixel data.
- * Compared to another method (use Surface), it's more flexible
- * but a little difficult.
- *
- * The process is shown as follows:
- *
- * [Init]
- * Direct3DCreate9():Get IDirect3D9.
- * IDirect3D9->CreateDevice():Create a Device.
- * IDirect3DDevice9->CreateTexture():Create a Texture.
- * IDirect3DDevice9->CreateVertexBuffer():Create a VertexBuffer.
- * IDirect3DVertexBuffer9->Lock():Lock VertexBuffer.
- * memcpy():Fill VertexBuffer.
- * IDirect3DVertexBuffer9->Unlock():UnLock VertexBuffer.
- *
- * [Loop to Render data]
- * IDirect3DTexture9->LockRect():Lock Texture.
- * memcpy():Fill pixel data...
- * IDirect3DTexture9->UnLockRect():UnLock Texture.
- * IDirect3DDevice9->BeginScene():Begin to draw.
- * IDirect3DDevice9->SetTexture():Set current Texture.
- * IDirect3DDevice9->SetStreamSource():Bind VertexBuffer.
- * IDirect3DDevice9->SetFVF():Set Vertex Format.
- * IDirect3DDevice9->DrawPrimitive():Render.
- * IDirect3DDevice9->EndScene():End drawing.
- * IDirect3DDevice9->Present():Show on the screen.
- */
- #include <stdio.h>
- #include <tchar.h>
- #include <d3d9.h>
- //Flexible Vertex Format, FVF
- typedef struct
- {
- FLOAT x,y,z;
- FLOAT rhw;
- D3DCOLOR diffuse;
- FLOAT tu, tv;
- } CUSTOMVERTEX;
- CRITICAL_SECTION m_critial;
- HWND m_hVideoWnd; // 視頻窗口
- IDirect3D9 *m_pDirect3D9= NULL;
- IDirect3DDevice9 *m_pDirect3DDevice= NULL;
- IDirect3DTexture9 *m_pDirect3DTexture= NULL;
- IDirect3DVertexBuffer9 *m_pDirect3DVertexBuffer= NULL;
- // Custom flexible vertex format (FVF), which describes custom vertex structure
- #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)
- //Select one of the Texture mode (Set '1'):
- #define TEXTURE_DEFAULT 0
- //Rotate the texture
- #define TEXTURE_ROTATE 1
- //Show half of the Texture
- #define TEXTURE_HALF 0
- //Width, Height
- const int screen_w=500,screen_h=500;
- const int pixel_w=320,pixel_h=180;
- FILE *fp=NULL;
- //Bit per Pixel
- const int bpp=32;
- unsigned char buffer[pixel_w*pixel_h*bpp/8];
- void Cleanup()
- {
- EnterCriticalSection(&m_critial);
- if(m_pDirect3DVertexBuffer)
- m_pDirect3DVertexBuffer->Release();
- if(m_pDirect3DTexture)
- m_pDirect3DTexture->Release();
- if(m_pDirect3DDevice)
- m_pDirect3DDevice->Release();
- if(m_pDirect3D9)
- m_pDirect3D9->Release();
- LeaveCriticalSection(&m_critial);
- }
- int InitD3D( HWND hwnd, unsigned long lWidth, unsigned long lHeight )
- {
- HRESULT lRet;
- InitializeCriticalSection(&m_critial);
- Cleanup();
- EnterCriticalSection(&m_critial);
- // Create IDirect3D
- m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );
- if ( m_pDirect3D9 == NULL ){
- LeaveCriticalSection(&m_critial);
- return -1;
- }
- if ( lWidth == 0 || lHeight == 0 ){
- RECT rt;
- GetClientRect( hwnd, &rt );
- lWidth = rt.right-rt.left;
- lHeight = rt.bottom-rt.top;
- }
- /*
- //Get Some Info
- //Retrieves device-specific information about a device.
- D3DCAPS9 d3dcaps;
- lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps);
- int hal_vp = 0;
- if( d3dcaps.DevCaps & D3DDEVCAPS_HWTRANSFORMANDLIGHT ){
- //save in hal_vp the fact that hardware vertex processing is supported.
- hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING;
- }
- // get D3DDISPLAYMODE
- D3DDISPLAYMODE d3dDisplayMode;
- lRet = m_pDirect3D9->GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &d3dDisplayMode );
- if ( FAILED(lRet) ){
- LeaveCriticalSection(&m_critial);
- return -1;
- }
- */
- //D3DPRESENT_PARAMETERS Describes the presentation parameters.
- D3DPRESENT_PARAMETERS d3dpp;
- ZeroMemory( &d3dpp, sizeof(d3dpp) );
- d3dpp.BackBufferWidth = lWidth;
- d3dpp.BackBufferHeight = lHeight;
- d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;
- //d3dpp.BackBufferFormat = D3DFMT_X8R8G8B8;
- d3dpp.BackBufferCount = 1;
- d3dpp.MultiSampleType = D3DMULTISAMPLE_NONE;
- d3dpp.SwapEffect = D3DSWAPEFFECT_COPY;
- d3dpp.hDeviceWindow = hwnd;
- d3dpp.Windowed = TRUE;
- d3dpp.EnableAutoDepthStencil = FALSE;
- d3dpp.Flags = D3DPRESENTFLAG_VIDEO;
- d3dpp.PresentationInterval = D3DPRESENT_INTERVAL_DEFAULT;
- m_hVideoWnd = hwnd;
- //Creates a device to represent the display adapter.
- //Adapter: Ordinal number that denotes the display adapter. D3DADAPTER_DEFAULT is always the primary display
- //D3DDEVTYPE: D3DDEVTYPE_HAL((Hardware Accelerator), or D3DDEVTYPE_SW(SoftWare)
- //BehaviorFlags:D3DCREATE_SOFTWARE_VERTEXPROCESSING, or D3DCREATE_HARDWARE_VERTEXPROCESSING
- lRet = m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL, NULL,
- D3DCREATE_SOFTWARE_VERTEXPROCESSING|D3DCREATE_MULTITHREADED, &d3dpp, &m_pDirect3DDevice );
- /*
- //Set some property
- //SetSamplerState()
- // Texture coordinates outside the range [0.0, 1.0] are set
- // to the texture color at 0.0 or 1.0, respectively.
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSU, D3DTADDRESS_CLAMP);
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSV, D3DTADDRESS_CLAMP);
- // Set linear filtering quality
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
- IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
- //SetRenderState()
- //set maximum ambient light
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_AMBIENT, D3DCOLOR_XRGB(255,255,0));
- // Turn off culling
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_CULLMODE, D3DCULL_NONE);
- // Turn off the zbuffer
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ZENABLE, D3DZB_FALSE);
- // Turn off lights
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_LIGHTING, FALSE);
- // Enable dithering
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DITHERENABLE, TRUE);
- // disable stencil
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_STENCILENABLE, FALSE);
- // manage blending
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHABLENDENABLE, TRUE);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_SRCBLEND,D3DBLEND_SRCALPHA);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DESTBLEND,D3DBLEND_INVSRCALPHA);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHATESTENABLE,TRUE);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAREF, 0x10);
- IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAFUNC,D3DCMP_GREATER);
- // Set texture states
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLOROP,D3DTOP_MODULATE);
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG1,D3DTA_TEXTURE);
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG2,D3DTA_DIFFUSE);
- // turn off alpha operation
- IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_ALPHAOP, D3DTOP_DISABLE);
- */
- //Creates a texture resource.
- //Usage:
- //D3DUSAGE_SOFTWAREPROCESSING: If this flag is used, vertex processing is done in software.
- // If this flag is not used, vertex processing is done in hardware.
- //D3DPool:
- //D3D3POOL_DEFAULT: Resources are placed in the hardware memory (Such as video memory)
- //D3D3POOL_MANAGED: Resources are placed automatically to device-accessible memory as needed.
- //D3DPOOL_SYSTEMMEM: Resources are placed in system memory.
- lRet = m_pDirect3DDevice->CreateTexture(lWidth, lHeight, 1, D3DUSAGE_SOFTWAREPROCESSING,
- D3DFMT_X8R8G8B8,
- D3DPOOL_MANAGED,
- &m_pDirect3DTexture, NULL );
- if ( FAILED(lRet) ){
- LeaveCriticalSection(&m_critial);
- return -1;
- }
- // Create Vertex Buffer
- lRet = m_pDirect3DDevice->CreateVertexBuffer( 4 * sizeof(CUSTOMVERTEX),
- 0, D3DFVF_CUSTOMVERTEX, D3DPOOL_DEFAULT, &m_pDirect3DVertexBuffer, NULL );
- if ( FAILED(lRet) ){
- LeaveCriticalSection(&m_critial);
- return -1;
- }
- #if TEXTURE_HALF
- CUSTOMVERTEX vertices[] ={
- {0.0f, 0.0f, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,0.0f},
- {lWidth, 0.0f, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.5f,0.0f},
- {lWidth, lHeight, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.5f,1.0f},
- {0.0f, lHeight, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,1.0f}
- };
- #elif TEXTURE_ROTATE
- //Rotate Texture?
- CUSTOMVERTEX vertices[] ={
- {lWidth/4, 0.0f, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,0.0f},
- {lWidth, lHeight/4, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,0.0f},
- {lWidth*3/4, lHeight, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,1.0f},
- {0.0f, lHeight*3/4,0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,1.0f}
- };
- #else
- CUSTOMVERTEX vertices[] ={
- {0.0f, 0.0f, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,0.0f},
- {lWidth, 0.0f, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,0.0f},
- {lWidth, lHeight, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,1.0f},
- {0.0f, lHeight, 0.0f, 1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,1.0f}
- };
- #endif
- // Fill Vertex Buffer
- CUSTOMVERTEX *pVertex;
- lRet = m_pDirect3DVertexBuffer->Lock( 0, 4 * sizeof(CUSTOMVERTEX), (void**)&pVertex, 0 );
- if ( FAILED(lRet) ){
- LeaveCriticalSection(&m_critial);
- return -1;
- }
- memcpy(pVertex, vertices, sizeof(vertices));
- m_pDirect3DVertexBuffer->Unlock();
- LeaveCriticalSection(&m_critial);
- return 0;
- }
- bool Render()
- {
- LRESULT lRet;
- //Read Data
- //RGB
- if (fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp) != pixel_w*pixel_h*bpp/8){
- // Loop
- fseek(fp, 0, SEEK_SET);
- fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp);
- }
- if(buffer == NULL || m_pDirect3DDevice == NULL)
- return false;
- //Clears one or more surfaces
- lRet = m_pDirect3DDevice->Clear(0, NULL, D3DCLEAR_TARGET,
- D3DCOLOR_XRGB(0, 255, 0), 1.0f, 0);
- D3DLOCKED_RECT d3d_rect;
- //Locks a rectangle on a texture resource.
- //And then we can manipulate pixel data in it.
- lRet = m_pDirect3DTexture->LockRect( 0, &d3d_rect, 0, 0 );
- if ( FAILED(lRet) ){
- return false;
- }
- // Copy pixel data to texture
- byte *pSrc = buffer;
- byte *pDest = (byte *)d3d_rect.pBits;
- int stride = d3d_rect.Pitch;
- int pixel_w_size=pixel_w*bpp/8;
- for(unsigned long i=0; i< pixel_h; i++){
- memcpy( pDest, pSrc, pixel_w_size );
- pDest += stride;
- pSrc += pixel_w_size;
- }
- m_pDirect3DTexture->UnlockRect( 0 );
- //Begin the scene
- if ( FAILED(m_pDirect3DDevice->BeginScene()) ){
- return false;
- }
- lRet = m_pDirect3DDevice->SetTexture( 0, m_pDirect3DTexture );
- //Binds a vertex buffer to a device data stream.
- m_pDirect3DDevice->SetStreamSource( 0, m_pDirect3DVertexBuffer,
- 0, sizeof(CUSTOMVERTEX) );
- //Sets the current vertex stream declaration.
- lRet = m_pDirect3DDevice->SetFVF( D3DFVF_CUSTOMVERTEX );
- //Renders a sequence of nonindexed, geometric primitives of the
- //specified type from the current set of data input streams.
- m_pDirect3DDevice->DrawPrimitive( D3DPT_TRIANGLEFAN, 0, 2 );
- m_pDirect3DDevice->EndScene();
- //Presents the contents of the next buffer in the sequence of back
- //buffers owned by the device.
- m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );
- return true;
- }
- LRESULT WINAPI MyWndProc(HWND hwnd, UINT msg, WPARAM wparma, LPARAM lparam)
- {
- switch(msg){
- case WM_DESTROY:
- Cleanup();
- PostQuitMessage(0);
- return 0;
- }
- return DefWindowProc(hwnd, msg, wparma, lparam);
- }
- int WINAPI WinMain( __in HINSTANCE hInstance, __in_opt HINSTANCE hPrevInstance, __in LPSTR lpCmdLine, __in int nShowCmd )
- {
- WNDCLASSEX wc;
- ZeroMemory(&wc, sizeof(wc));
- wc.cbSize = sizeof(wc);
- wc.hbrBackground = (HBRUSH)(COLOR_WINDOW + 1);
- wc.lpfnWndProc = (WNDPROC)MyWndProc;
- wc.lpszClassName = L"D3D";
- wc.style = CS_HREDRAW | CS_VREDRAW;
- RegisterClassEx(&wc);
- HWND hwnd = NULL;
- hwnd = CreateWindow(L"D3D", L"Simplest Video Play Direct3D (Texture)", WS_OVERLAPPEDWINDOW, 100, 100, screen_w, screen_h, NULL, NULL, hInstance, NULL);
- if (hwnd==NULL){
- return -1;
- }
- if(InitD3D( hwnd, pixel_w, pixel_h)==E_FAIL){
- return -1;
- }
- ShowWindow(hwnd, nShowCmd);
- UpdateWindow(hwnd);
- fp=fopen("../test_bgra_320x180.rgb","rb+");
- if(fp==NULL){
- printf("Cannot open this file.\n");
- return -1;
- }
- MSG msg;
- ZeroMemory(&msg, sizeof(msg));
- while (msg.message != WM_QUIT){
- //PeekMessage, not GetMessage
- if (PeekMessage(&msg, NULL, 0, 0, PM_REMOVE)){
- TranslateMessage(&msg);
- DispatchMessage(&msg);
- }
- else{
- Sleep(40);
- Render();
- }
- }
- UnregisterClass(L"D3D", hInstance);
- return 0;
- }
代碼說明
1. 目前支持讀取bgra格式的像素數據。
2. 窗口的寬高為screen_w,screen_h。像素數據的寬高為pixel_w,pixel_h。它們的定義如下。
- //Width, Height
- const int screen_w=500,screen_h=500;
- const int pixel_w=320,pixel_h=180;
3. 其他要點
本程序使用的是Win32的API創建的窗口。但注意這個并不是MFC應用程序的窗口。MFC代碼量太大,并不適宜用來做教程。因此使用Win32的API創建窗口。程序的入口函數是WinMain(),其中調用了CreateWindow()創建了顯示視頻的窗口。此外,程序中的消息循環使用的是PeekMessage()而不是GetMessage()。GetMessage()獲取消息后,將消息從系統中移除,當系統無消息時,會等待下一條消息,是阻塞函數。而函數PeekMesssge()是以查看的方式從系統中獲取消息,可以不將消息從系統中移除(相當于“偷看”消息),是非阻塞函數;當系統無消息時,返回FALSE,繼續執行后續代碼。使用PeekMessage()的好處是可以保證每隔40ms可以顯示下一幀畫面。
4. 通過代碼前面的宏,可以選擇幾種不同的紋理映射方式
- //Select one of the Texture mode (Set '1'):
- #define TEXTURE_DEFAULT 1
- //Rotate the texture
- #define TEXTURE_ROTATE 0
- //Show half of the Texture
- #define TEXTURE_HALF 0
第一種是正常的映射方式,第二種是“旋轉”的方式,第三種是只映射一半的方式。
5. 代碼中還有很多注釋的部分都是可用的代碼,可以取消注釋看看效果。
運行結果
下面展示一下三種紋理映射方式的結果:
(1) 正常
(2) “旋轉”
(3) 一半紋理
下載
代碼位于“Simplest Media Play”中
SourceForge項目地址:https://sourceforge.net/projects/simplestmediaplay/
CSDN下載地址:http://download.csdn.net/detail/leixiaohua1020/8054395
上述工程包含了使用各種API(Direct3D,OpenGL,GDI,DirectSound,SDL2)播放多媒體例子。其中音頻輸入為PCM采樣數據。輸出至系統的聲卡播放出來。視頻輸入為YUV/RGB像素數據。輸出至顯示器上的一個窗口播放出來。
通過本工程的代碼初學者可以快速學習使用這幾個API播放視頻和音頻的技術。
一共包括了如下幾個子工程:
simplest_audio_play_directsound: 使用DirectSound播放PCM音頻采樣數據。
simplest_audio_play_sdl2: 使用SDL2播放PCM音頻采樣數據。
simplest_video_play_direct3d: 使用Direct3D的Surface播放RGB/YUV視頻像素數據。
simplest_video_play_direct3d_texture:使用Direct3D的Texture播放RGB視頻像素數據。
simplest_video_play_gdi: 使用GDI播放RGB/YUV視頻像素數據。
simplest_video_play_opengl: 使用OpenGL播放RGB/YUV視頻像素數據。
simplest_video_play_opengl_texture: 使用OpenGL的Texture播放YUV視頻像素數據。
simplest_video_play_sdl2: 使用SDL2播放RGB/YUV視頻像素數據。
from:http://blog.csdn.net/leixiaohua1020/article/details/40301179
RFID管理系統集成商 RFID中間件 條碼系統中間層 物聯網軟件集成