Showing posts with label video. Show all posts
Showing posts with label video. Show all posts

2008-01-09

DirectX capture image

在实现抓取影片帧的过程中,DirectShow的IMediaDet接口将是主角,这个接口包含了一些方法能够从媒体源文件中提取一些重要信息,比如媒体类型、帧速率甚至是视频流的单个帧。
·注意要正确使用IMediaDet接口,工程中需要包含下列文件:
头文件:dshow.h, qedit.h
库文件:strmiids.lib
因为使用CComPtr模板来声明接口实例,所以还要在工程中包含atlbase.h头文件。
下面我们将一步步利用IMediaDet接口实现抓取影片帧的功能。

1:为对话框类添加一个HRESULT类型的成员函数GrabFramFromMovie,它将实现抓帧功能。在函数体内创建IMediaDet接口实例,创建实例需要调用CoCreateInstance函数,并给函数的第一个参数传入CLSID_MediaDet类标识符。

2:调用IMediaDet::put_Filename方法为接口指定一个媒体文件,该方法只有一个参数,这个参数描述了媒体文件的路径,注意参数类型为BSTR。

3:调用IMediaDet:: get_OutputStreams方法以得到影片输出流的数目,一个影片的输出由多个流组成,但是get_OutputStreams方法只关心影片输出的视频流和音频流而自动忽略其它流,所以,如果一个影片输出包含有视频流、音频流和数据流,get_OutputStreams只返回视频流和音频流的数目。

4:调用IMediaDet::put_CurrentStream方法指定一个用于编辑和操作的流,因为我们的目的是要将影片的单个帧保存为图片,这就需要对视频流进行操作,所以要利用put_CurrentStream定位影片文件输出的视频流。

5:调用IMediaDet:: get_StreamMediaType方法得到一个VIDEOINFORHEADER结构,这个结构与当前指定的视频流关联。 VIDEOINFORHEADER结构中包含有一个BITMAPINFORHEADER结构类型的成员,它描述了视频影像对应位图的尺寸、颜色等有用的信息。

6:调用IMediaDet::WriteBitmapBits方法将影片的帧保存为位图,若想指定保存哪一帧,只需要给第一个参数传递一个合适的时间即可。这里,我传递给第一个参数的时间为0,因此程序将保存影片第一帧的位图。

[ref: http://www.vckbase.com/document/viewdoc/?id=976]

VFW edit & play image

利用VFW,不仅可以实现视频流的实时采集,还提供了编辑和播放功能,主要通过AVIFILE、ICM、ACM、MCIWnd 等组件之间的协作来完成。

1) AVIFileInit();//初始化;

2) AVIFileOpen(); //打开一个AVI文件并获文件的句柄;

3) AVIFileInfo(); //获取文件的相关信息,如图像的Width和Height等;

4) AVIFileGetStream(); //建立一个指向需要访问的数据流的指针;

5) AVIStreamInfo(); //获取存储数据流信息的AVISTREAMINFO结构;

6) AVIStreamRead(); //读取数据流中的原始数据, 对AVI文件进行所需的编辑处理;

7) AVIStreamRelease(); //释放指向视频流的指针;

8) AVIFileRelease();AVIFileExit(); //释放AVI文件。

若数据是压缩过的,则用AVIStreamGetFrameOpen(),AVIStreamGetFrame()和AVIStreamGetFrameClose()来操作,可以完成对视频流的逐帧分解。

2. 视频播放

对于实现视频流的播放,VFW提供了MCIWnd窗口类[4],主要用于创建视频播放区,控制并修改MCI窗口当前加载媒体的属性。一个由函数、消息和宏组成的库与MCIWnd相关联,通过它们可以进行AVI文件操作,很方便地使应用程序完成视频播放功能。

1)MCIWndCreate(); //注册MCIWnd窗口类,创建MCIWnd窗口,并指定窗口风格;

2)AVIFileInit(); //初始化;

3) AVIFileOpen(); //打开AVI文件;

4) AVIFileGetStream(); //获得视频流;

5)运用相关函数进行各种播放任务:MCIWndPlay()正向播放AVI文件内容,MCIWndPlayReverse()反向播放,MCIWndResume() 恢复播放,MCIWndPlayPause()暂停播放,MCIWndStop()停止播放等等。

6) AVIStreamRelease(); //释放视频流;

7)AVIFileRease();AVIFileExit(); //断开与AVI文件的连接,释放视频源。

由以上步骤可以看出,视频播放是视频编辑其中的一种操作。

[ref : http://www.ziliaonet.com/tech/softdev/VC/other/200607/109061.html ]

VFW captuer image

# 及時抓取 device(camera...) 影像

視頻圖像捕穫一般來講有兩種方法,一種是利用視頻捕穫卡所附帶的SDK開發工具,這種捕穫方法的實現是與設備有關的,依賴於視頻捕穫卡與攝像頭的類型,不利於靈活應用;另外一種捕穫方法是Microsoft的Visual C++自從4﹒0版就開始支援Video for Windows(簡稱VFW),這給視頻捕穫程式設計帶來了很大的方便,利用VFW技術的可以提高視頻捕穫的靈活性,減少了對視頻設備的依賴。

在VC++6.0中,含有MCIAVI、DRAWDIB、AVIFILE和AVICAP等元件。透過它們之間的協調工作,可以完成播放、編輯、文件管理和視頻捕穫等功能,為視頻圖像處理和分析帶來非常大的便利,本文就利用VFW進行視頻數據的即時採集中的碰到的幾個實際問題進行探討。

視頻數據的即時採集主要是透過調用AVICap32.dll創建AVICap窗口類 ,由AVICap窗口類中的消息、宏函數、結構以及回調函數來完成。 AVICap在捕穫視頻方面具有明顯的優勢,它能直接訪問視頻緩衝區,不需要產生中間文件,即時性很高,它也可將數字視頻保存到事先建好的文件中。實際應用表明,透過這種方法,提高了視頻採集的效果和程式運行的效率,同時也減少了對硬體的依賴性,提高了程式的相容性和移植性。

VFW的視頻採集功能主要包括
1. 捕穫視頻流至AVI文件(capCaptureSequence)
2. 捕穫視頻流至緩存 (capCaptureSequenceNofile)
3. 捕穫視頻流至AVI文件(capCaptureSingleFrame)
4. 本地預視 (capPreview/capOverlay)
5. 捕穫單幀預視(capGrabFrame/capGrabFrameNoStop)等。

VFW還提供了回調函數 ,允許應用程式精確控制視頻流的捕穫、偵測錯誤、監控狀態變化 ,以及在捕穫兩幀數據的空隙和每捕穫新幀時對即時數據進行處理。

# Callback function
在VFW中有幾條這樣的Macro,如用於設定在發生某事件後能作出反應的回調函數的macro,它和中斷服務機制很相似,條件一滿足,程式會自動進入相應的回調函數體中,該函數究竟要做些什麼,全由開發者藉助其參數自行編制程式來確定。利用VFW穫取即時視頻數據通常可以運用視頻處理的回調機制(call-backmechanism) 穫得即時數據緩衝區的首址和長度並對圖像數據進行處理,同時也可以進行視頻數據的直接傳輸,在這一方面很多文章都作了具體的介紹。但是按照大多數文章的介紹,在具體的應用過程中,對回調函數作如下定義時,程式總是無法透過編譯:
{
 LRESULT CALLBACK FrameCallbackProc(HWND ghWnd,LPVIDEOHDR lpVData)
 unsigned char *data;
 data=lpVData->lpData;//穫得視頻數據首地址,並將數據存入data數組中以便處理
}

透過研究,發現根本原因是回調函數是基於C程式設計的Windows SDK的技術,不是針對C++的,可以將一個C函數直接作為回調函數,但是如果試圖直接使用C++的成員函數作為回調函數將發生錯誤,甚至編譯就不能透過。其錯誤是普通的C++成員函數都隱含了一個傳遞函數作為參數,亦即“this”指針,C++透過傳遞一個指向自身的指針給其成員函數從而實現程式函數可以訪問C++的數據成員。這也可以理解為什麼C++類的多個實例可以共享成員函數但是確有不同的數據成員。由於this指針的作用,使得將一個 CALLBACK型的成員函數作為回調函數裝設時就會因為隱含的this指針使得函數參數個數不匹配,從而導致回調函數裝設失敗。要解決這一問題的關鍵就是不讓this指針起作用,透過採用以下兩種典型技術可以解決在C++中使用回調函數所遇到的問題。這種方法具有通用性,適合於任何C++。

(1) 不使用成員函數,直接使用普通C函數,為了實現在C函數中可以訪問類的成員變量,可以使用友元操作符(friend),在C++中將該C函數說明為類的友元即可。這種處理機制與普通的C程式設計中使用回調函數一樣。

(2) 使用靜態成員函數,靜態成員函數不使用this指針作為隱含參數,這樣就可以作為回調函數了。靜態成員函數具有兩大特點:其一,可以在沒有類實例的情況下使用;其二,只能訪問靜態成員變量和靜態成員函數,不能訪問非靜態成員變量和非靜態成員函數。由於在C++中使用類成員函數作為回調函數的目的就是為了訪問所有的成員變量和成員函數,如果作不到這一點將不具有實際意義。解決的辦法也很簡單,就是使用一個靜態類指針作為類成員,透過在類創建時初始化該靜態指針,如pThis=this,然後在回調函數中透過該靜態指針就可以訪問所有成員變量和成員函數了。這種處理辦法適用於只有一個類實例的情況,因為多個類實例將共享靜態類成員和靜態成員函數,這就導致靜態指針指向最後創建的類實例。為了避免這種情況,可以使用回調函數的一個參數來傳遞this指針,從而實現數據成員共享。這種方法稍稍麻煩,這裡就不再贅述。

因此,可以對回調函數作如下定義:

static LRESULT CALLBACK FrameCallbackProc(HWND ghWnd,LPVIDEOHDR lpVData)
{
 unsigned char *data;
 data=lpVData->lpData;//穫得視頻數據首地址,並將數據存入data數組中以便處理
}


[reference: http://big5.yesky.com/b5/dev.yesky.com/238/2182738.shtml ]


# Step
1 建立捕获窗口
利用AVICAP 组件函数 capCreateCaptureWindow() 建立视频捕获窗口,它是所有捕获工作及设置的基础,其主要功能包括:① 动态地同视频和音频输入器连接或断开;② 设置视频捕获速率;③ 提供视频源、视频格式以及是否采用视频压缩的对话框;④ 设置视频采集的显示模式为Overlay或为Preview; ⑤ 实时获取每一帧视频数据;⑥ 将一视频流和音频流捕获并保存到一个AVI文件中; ⑦ 捕获某一帧数字视频数据,并将单帧图像以DIB格式保存;⑧ 指定捕获数据的文件名,并能将捕获的内容拷贝到另一文件。

2 登记回调函数
登记回调函数用来实现用户的一些特殊需要。在以一些实时监控系统或视频会议系统中,需要将数据流在写入磁盘以前就必须加以处理,达到实时功效。应用程序可用捕获窗来登记回调函数,以便及时处理以下情况:捕获窗状态改变、出错、使用视频或音频缓存、放弃控制权等,相应的回调函数分别为 capStatusCallback(), capErrorCallback(), capVideoStreamCallback(), capWaveStreamCallback(),capYieldCallback()。

3 获取捕获窗口的缺省设置
通过capCaptureGetSetup(hWndCap,&m_Parms,sizeof(m_Parms))来完成。

4 设置捕获窗口的相关参数
通过capCaptureSetSetup(hWndCap,&m_Parms,sizeof(m_Parms))来完成。

5 连接捕获窗口与视频捕获卡
通过capDriveConnect(hWndCap,0)来完成。

6 获取采集设备的功能和状态
通过capDriverGetCaps(hWndCap,&m_CapDrvCap,sizeof(CAPDRIVERCAPS))来获取

视频设备的能力,通过capGetStatus(hWndCap,&m_CapStatus,sizeof(m_CapStatus))

来获取视频设备的状态。

7 设置捕获窗口显示模式

视频显示有Overlay(叠加)和Preview(预览)两种模式。在叠加模式下,捕获视频数据布展系统资源,显示速度快,视频采集格式为YUV格式,可通过capOverlay(hWndCap,TRUE)来设置;预览模式下要占用系统资源,视频由系统调用GDI函数在捕获窗显示,显示速度慢,它支持RGB视频格式。

8 捕获图像到缓存或文件并作相应处理

若要对采集数据进行实时处理,则应利用回调机制,由capSetCallbackOnFrame(hWndCap, FrameCall-backProc)完成单帧视频采集;由capSetCallbackOnVideoStream(hWndCap, VideoCallbackProc)完成视频流采集。如果要保存采集数据,则可调用capCaptureSequence(hWnd);要指定文件名,可调用capFileSetCap-ture(hwnd, Filename)。

9 终止视频捕获 断开与视频采集设备的连接

调用capCatureStop(hWndCap)停止采集,调用capDriverDisconnect(hWndCap), 断开视频窗口与捕获驱动程序的连接。

[ref : http://www.ziliaonet.com/tech/softdev/VC/other/200607/109061.html ]

VFW

MS 提供的多媒體 interface : MCI(media control interface)→ VFW → DirectX → Media Foundation


VFW:
1. AVICAP.DLL:包含了執行視頻捕捉的函数,它给AVI文件I/O和視頻、音頻设备驱动程序提供一个高级接口;

2. MSVIDEO.DLL:用一套特殊的DrawDib函数處理螢幕上視頻;

3. MCIAVI.DRV:此驱动程序包括对VFW的MCI命令的解释器;

4. AVIFILE.DLL:支持由標準多媒体I/O(mmio)函数提供的更高的命令来访问.AVI文件;

5. 压缩管理器(ICM):管理用于视频压缩-解压缩的编解码器(CODEC);

6. 音频压缩管理器ACM:提供与ICM相似的服务,不同的是它适于波形音频。

2007-08-20

Convert JPEG to AVI using CAVIGenerator

# Source code : CAVIGenerator

# AVICOMPRESSOPTIONS
AVICOMPRESSOPTIONS opts;
opts.fccType=streamtypeVIDEO;
opts.fccHandler=mmioFOURCC('I','V','4','1'); // codec you want to use
opts.dwFlags=8;
opts.dwKeyFrameEvery=30;

//AVICOMPRESSF_DATARATE = 0x2; AVICOMPRESSF_INTERLEAVE = 0x1; AVICOMPRESSF_KEYFRAMES = 0x4; AVICOMPRESSF_VALID = 0x8;


# You can find the list of available VCM codecs installed on a given machine that you can use in VFW by enumerating the values in the registry key :
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Drivers32],
vidc.xxxx