54580148 Open Cv Computer Vision Thi Giac May

8/3/2019 54580148 Open Cv Computer Vision Thi Giac May

http://slidepdf.com/reader/full/54580148-open-cv-computer-vision-thi-giac-may 1/14

Th giác máy là mt lnh vc a và ang rt phát trin. Khái nim th giác máy ± Computer vision có liên quan ti nhiu ngành hc và hng nghiên cu khác nhau. T nhng nm 1970khi mà nng lc tính toán ca máy tính ngày càng tr nên mnh m hn, các máy tính lúc nàycó th x lý c nhng tp d liu ln nh các hình nh, các on phim thì khái nim và kthut v th giác máy ngày càng c nhc n và nghiên cu nhiu hn cho ti ngày nay.

Hin ti lnh vc c các chuyên gia ánh giá là vn còn ³non nt´ và có rt nhiu s thayi trong thi gian ti.

A. Th nào là th giác máy

Th giác máy bao gm lý thuyt và các k thut liên quan nhm mc ích to ra mt h thngnhân to có th tip nhn thông tin t các hình nh thu c hoc các tp d liu a chiu.i vi mi con ngi chúng ta, quá trình nhn thc th gii bên ngoài là mt iu d dàng.Quá trình nhn thc ó c ³hc´ thông qua quá trình sng ca mi ngi. Tuy nhiên vicác vt vô tri vô giác nh nh các máy tính, robot v..v thì iu ó qu thc là mt bc tinrt gian nan. Các thit b ngày nay không ch nhn thông tin dng tín hiu n l mà naycòn có th có cái ³nhìn´ tht vi th gii bên ngoài. Cái ³nhìn´ này qua quá trình phân tích,kt hp vi các mô hình nh máy hc, mng nron v..v s giúp cho thit b tin dn ti mth thng nhân to có kh nng ra quyt nh linh hot và úng n hn rt nhiu.

Lnh vc nghiên cu ca th giác máy rt rng, và c im chung là các bài toán v th giácmáy tính u không có mt bài chung và cách gii duy nht. Mi gii pháp gii quyt vnu c mt kt qu nht nh cho nhng trng hp c th. Ta có th thy s tng quangia Computer vision vi các lnh vc khác nh sau:

B. ng dng:

Mt vài lnh vc mà Computer Vision c ng dng có th k ti nh sau:

- iu khin tin trình (ví d: trong các robot công nghip, hay các thit b, xe t hành)

- Phát hin s thay i (ví d: các thit b giám sát)

- T chc thông tin (ví d: ch s kho d liu các nh hoc chui nh liên tc)

- Mô hình hoá i tng (ví d: quá trình kim tra trong môi trng công nghip, x lý nhtrong y hc)

- Tng tác (óng vai trò làm u vào cho thit b trong quá trình tng tác gia ngi vàmáy)

1. Các thao tác chính ca CV



a. Nhn dng (recognition):

Nhn dng nh là mt trong nhng vn kinh in trong lnh vc th giác máy và x lý nh.Mc ích ca nhn dng nh tc là xác nh xem liu mt bc nh có tn ti nhng i

tng, c im c bit hay không. Chc nng này có th thc hin t ng, không cn stác ng ca con ngi; tuy nhiên nó không m bo trong các trng hp chung, vi nhngi tng tu ý và trong tình hung tu ý.

Các phng pháp hin nay gii quyt vn này ch c ng dng vi nhng i tngc bit( nhng i tng hình hc c bn, nhn dng mt ngi, nhn dng ch in và chvit tay, ...) và trong nhng tình hung c bit (trong iu kin chiu sáng c xác nhtrc, ...)

b. Phân tích chuyn ng:

Nhn dng chuyn ng c áp dng s lý mt chui các nh liên tip c lng tc chuyn ng ca tng im nh.

- Egomotion: Xác nh chuyn ng trong khung cnh 3D t camera. Áp dng cho cáccamera theo dõi t ng.- Tracking: Theo dõi chuyn ng ca mt i tng nào ó, ví d nh ngi hay xe c

c. Xây dng cnh (scene reconstruction)ây là chc nng cho phép xây dng và mô phng li mt khung cnh 3D t nhng bc nhhoc mt an phim cho trc.

d. Khôi phc hình nh (image restoration)



Lai b tác ng ca nhiu trong nh, khôi phc li hình nh ban u

2. H thng CV cho bài tóan robot di chuyn: Vic áp dng th giác máy vào bài toán robot di chuyn là mt vic phc tp. Tuy nhiên,trong gii hn ca tài, duy_pham gi nh ta ã bit trc c iu kin môi trng robotchuyn ng (màu sàn, các vt cn c nh) và hình dng cng nh màu ca mc tiêu bit lpvi môi trng. Sau ây mình xin trình bày tng bc các chc nng có th ng dng vào bàitoán này:Các chc nng chính trong hu ht các h thng CV:a. Ly hình nh Chp nh t webcam. Cht lng ca nh thu c t bc này ph thuc nhiu vào chtlng webcam, tc di chuyn khi chp, góc nhìn và sáng.b. Tin x lí (ly mu, lc nhiu, tng phn, ...) Trc khi áp dng các chc nng ca th giác nh, chúng ta cn x lý nh m bo rngnh s tho mãn mt vài gi thit nào ó. Ví d nh sau:¾ Ly mu li m bo h thng to là úng. Nu 2 nh ly liên tip nhau có s saikhác quá nhiu thì chúng ta có th loi b nh ó vì t th ca robot lúc chp không c nnh.¾ Loi b nhiu gim thiu kh nng xut hin các thông tin sai¾ Tng tng phn m bo s xác nh c các thông tin cn thit.c. Phân tích hình nh (xác nh ng, góc, cnh, khi, ...) c trng ca nh nhng mc phc tp khác nhau s c trích rút t nh, nh là cácng, cnh, góc.d. Nhn dng, phân mnh Ti mt vài im nh chúng ta chn ra mt tp các im nh hoc các vùng nh phù hp vicác thao tác x lý. Ví d:¾ Chn các im nh có màu trùng vi màu ca mc tiêu.

¾ Phân ra các vùng nh có kh nng cha mc tiêu.¾ Phân ngng và nh v các vt cn có th cóe. X lí mc caon bc này thì d liu u vào ch là mt phn ca d liu ban u, ó có th là tp cácim nh hoc mt vùng nh có kh nng cha mt i tng c bit nào ó. Quá trình xlý s qua các bc sau:¾ Thm nh li d liu có phù hp vi các yêu cu c bn và c bit¾ c lng các tham s c bit¾ Phân lp i tng xác nh c.



A.1. Gii thiu OpenCV, nh ã nói là mt th vin rt s và c tp th các tác gi chia làm 4 phnchính:

CxCore: Cha các cu trúc c bn nh im, ng, dãy, mt, matrn« và các thao tác cp thp liên quan.

CV: Cha hu ht các thao tác liên quan n vic x lý nh cpthp nh lc nh, trích biên, phân vùng, tìm contour, bin i Fourier«

HighGUI: Các thao tác lên nhng file nh và file Video nh c nh,hin th nh, chuyn i nh dng«

CvCam: Làm vic vi Camera. Vì lý do phm vi ca lun vn này chlàm vic vi nh nên chúng tôi không trình bày CvCam ây.

A.2. S dng OpenCV Tt c các cu trúc và các hàm ca OpenCV u c t tên theo cách quy nh sau:Tt các các t khóa, các hng u c vit hoa toàn b, bt u bi tip u ng ³CV´, cáct cách nhau bi du gch di (_). Ví d: CV_SEQ_KIND_GRAPH.Tên ca hàm và cu trúc c vit hoa ch cái u mi ch có ngha và s dng tip u ng

³cv´ cho hàm và ³Cv´ cho cu trúc. Ví d: hàm cvFindContours và cu trúc CvPoint.Tên ca mt hàm có cu trúc nh sau:cv <hành ng> <i tng> <kiu>o <hành ng>: Thao tác nào c s dng. Ví d nh ±Set±, ±Convert±, ±Create±.o <i tng>: Ch nh i tng mà hành ng hng ti. Ví d nh ±FindContours, -ApproxPoly� Nu i tng có tên dài hn 1 ch thì các ch c vit hoa ký t u. Ví d: -MatchContourTree.� Mt s hàm ch có <hành ng>, hoc ch có <i tng>. Ví d: cvUnDistort, cvAcc.o <kiu>: là mt tham s không bt buc, xác nh kiu tác ng ca hàm. Ví d:cvFindExtrinsicCameraParams_64d. các hàm thuc HighGUI, tip u ng s là ³cvv´ thay cho ³cv´.

Tip theo, chúng tôi s gii thiu vn tt mt s tính nng ca 3 phn c bn cu thành nênOpenCV là CxCore, CV và HighGUI. Trong mi phn này có vô s các hàm bên trong màchúng tôi ây không th nào lit kê ra ht (có th xem trong tài liu hng dn ca Intel ).

A.2.1. CxCore CxCore cha ng rt nhiu các thành phn c bn cu thành nên toàn b OpenCV. CxCore

bao gm các cu trúc d liu c bn, các thao tác lên array, các cu trúc ng, các hàm v,các hàm tác ng lên d liu, các hàm qun lý li và s kin và mt s hàm cn thit khác.S lng cha ng trong CxCore là rt ln và chúng tôi ch trích ra ây mt s ít nhng cutrúc và hàm c bn nht ca OpenCV.

Các cu trúc quan trng CvPoint: Cha cu trúc ta ca mt im nh:

typedef struct CvPoint

{

int x; /* x-coordinate, usually zero -based */



int y; /* y-coordinate, usually zero -based */

}

CvPoint;

/* the constructor function */

inline CvPoint cvPoint( int x, int y );

/* conversion from CvPoint2D32f */

inline CvPoint cvPointFrom32f( CvPoint2D32f point );

Cùng h vi CvPoint còn có: CvPoint2D32f cha ta thc, CvPoint3D32f, cha ta

thc ca im trong không gian. Ta ý các cu trúc này theo úng cách t tên ã mô t. Ngoài ra còn có CvPoint2D64f, CvPoint3D64f.

CvSize: Cha thông tin lu li kích thc.

typedef struct CvSize

{

int width; /* width of the rectan gle */

int height; /* height of the rectangle */

}

CvSize;


inline CvSize cvSize( int width, int height );

Tng t nh CvPoint, cùng h vi CvSize cng có các cu trúc CvSize khác.

CvR ect: Hình ch nhttypedef struct CvRect

{

int x; /* x-coordinate of the left -most rectangle corner[s] */

int y; /* y-coordinate of the top -most or bottom-most



rectangle corner[s] */

int width; /* width of the rect angle */

int height; /* height of the rectangle */

}

CvRect;


inline CvRect cvRect( int x, int y, int width, int height );

CvMat: ma trn. Mt cu trúc c s dng khá nhiu.

typedef struct CvMat

{

int type; /* CvMat signature (CV_MAT_MAGIC_VAL), element type andflags */

int step; /* full row length in bytes */

int* refcount; /* underlying data reference counter */

union

{

uchar* ptr;

short* s;

int* i;

float* fl;

double* db;

} data; /* data pointers */

#ifdef __cplusplus

union



{

int rows;

int height;

};

union

{

int cols;

int width;

};

#else

int rows; /* number of rows */

int cols; /* number of columns */

#endif

} CvMat;

IplImage: Cu trúc quan trng nht. Cha ng toàn b nh.typedef struct _IplImage

{

int nSize; /* sizeof(IplImage) */

int ID; /* version (=0)*/

int nChannels; /* Most of OpenCV functions support 1,2,3 or 4channels */

int alphaChannel; /* ignored by OpenCV */

int depth; /* pixel depth in bits: IPL_DEPTH_8U,IPL_DEPTH_8S, IPL_DEPTH_16U,

IPL_DEPTH_16S, IPL_DEPTH_32S, IPL_DEPTH_32Fand IPL_DEPTH_64F are supported */

char colorModel[4]; /* ignored by OpenCV */



char channelSeq[4]; /* ditto */

int dataOrder; /* 0 - interleaved color channels, 1 - separatecolor channels.

cvCreateImage can only create interleavedimages */

int origin; /* 0 - top-left origin,

1 - bottom-left origin (Windows bitmapsstyle) */

int align; /* Alignment of image rows (4 or 8).

OpenCV ignores it and uses widthStep instead*/

int width; /* image width in pixels */

int height; /* image height in pixels */

struct _IplROI *roi;/* image ROI. when it is not NULL, thisspecifies image region to process */

struct _IplImage *maskROI; /* must be NULL in OpenCV */

void *imageId; /* ditto */

struct _IplTileInfo *tileInfo; /* ditto */

int imageSize; /* image data size in bytes

(=image->height*image->widthStep

in case of interlea ved data)*/

char *imageData; /* pointer to aligned image data */

int widthStep; /* size of aligned image row in bytes */

int BorderMode[4]; /* border completion mode, ignored by OpenCV */

int BorderConst[4]; /* ditto * /

char *imageDataOrigin; /* pointer to a very origin of image data

(not necessarily aligned) -

it is needed for correct imagedeallocation */

}

IplImage;



CvSeq: Cu trúc quan trng cui cùng mà chúng tôi nêu ra ây. Cu trúc này cha mtdanh sách các d liu. ây có th xem là mt ArrayList trong OpenCV.

#define CV_SEQUENCE_FIELDS() \

int flags; /* micsellaneous flags */ \

int header_size; /* size of sequence header */ \

struct CvSeq* h_prev; /* previous sequence */ \

struct CvSeq* h_next; /* next sequence */ \

struct CvSeq* v_prev; /* 2nd previous sequence */ \

struct CvSeq* v_next; /* 2nd next sequence */ \

int total; /* total number of elements */ \

int elem_size;/* size of sequence element in bytes */ \

char* block_max;/* maximal bound of the last block */ \

char* ptr; /* current write pointer */ \

int delta_elems; /* how many eleme nts allocated when the sequence grows(sequence granularity) */ \

CvMemStorage* storage; /* where the seq is stored */ \

CvSeqBlock* free_blocks; /* free blocks list */ \

CvSeqBlock* first; /* pointer to the first sequence block */

typedef struct CvSeq

{

CV_SEQUENCE_FIELDS()

} CvSeq;

Các thao tác trên Array Song song vi các cu trúc trên là mt lot các hàm c bn trên các Array (bao gm ma trn,nh, và c dãy), di ây chúng tôi s trình bày các nhóm hàm c bn.

Nhóm Create: Là nhng hàm khi to các cu trúc k trên. Ví d nh cvCreateImage,cvCreateMat. Mi hàm có các khai báo riêng, nhng u có cùng mt dng chc nng là khito ra mt i tng mi.



Nhóm tác ng vào nhng phn t ca Array. Tiêu biu là các hàm ly dòng, ly ct nhcvGetRow, cvGetCol, cvGetDiag«

Nhóm các hàm Copy và Fill. Ví d nh cvCloneImage, cvCopy,«Các hàm thay i hình dng. Ví d nh cvRepeat, cvFlip,«Các thao tác s hc. Ví d cvLUT, cvConvertScale«Các hàm thng kê. cvSum, cvAvg,«

Các hàm i s tuyn tính. Tiêu biu là nhân ma trn, tích hu hng, tích vô hng« NhcvDotProduct, cvMatMul«Các bin i ri rc. Tiêu biu là bin i Fourier ri rc, Cosine ri rc,« nh cvDFT,cvDCT,«Các hàm to s ngu nhiên. cvRNG, cvRandArr«

Ví d v tính tích 2 ma trn:

double a[] = { 1, 2, 3, 4

5, 6, 7, 8,

9, 10, 11, 12 };

double b[] = { 1, 5, 9,

2, 6, 10,

3, 7, 11,

4, 8, 12 };

double c[9];

CvMat Ma, Mb, Mc ;

cvInitMatHeader( &Ma, 3, 4, CV_64FC1, a );

cvInitMatHeader( &Mb, 4, 3, CV_64FC1, b );

cvInitMatHeader( &Mc, 3, 3, CV_64FC1, c );

cvMatMulAdd( &Ma, &Mb, 0, &Mc );

// c array now contains product of a(3x4) and b(4x3) matrices

Hu nh MemStorage có mt trong mi hàm ca OpenCV, t các hàm tìm cnh nh Cannyn nhng hàm khác nh cvFindContours« u phi cn n MemStorage. Nm cMemStorage có th gi là nm c linh hn ca OpenCV.



Các hàm v Tng t nh các th vin khác, các hàm v là nhng thành phn không th thiu, OpenCVcng cung cp khá nhiu hàm v nh cvLine, cvRectangle, cvCircle«

Ngoài ra, còn có các hàm, cu trúc thao tác trên th nh Tree, Graph« Tt c nhng gìtrong CxCore u góp phn to nên b khung cho OpenCV.

A.2.2. CV Nhóm CV cung cp các hàm liên quan trc tip n Computer Vision, trong ó tp trung các thao tác cp thp trên nh và camera. Phn này chia thành các nhóm ln nh sau:Nhóm x lý nh Bao gm:

Gradient, cnh (edge) và góc: gm các hàm nh Canny, Sobel,Laplace, các hàm tìm góc«

Các hàm ly mu, ni suy và bin i hình hc: Các bin i Affine,bin i kích thc, «

Các b lc: Các hàm chuyn i h màu, b lc Median, b lcGaussian, Threshold«

Pyramid và ng dng: các hàm trên Pyramid n h Pyramid Segmentation,Downsample hoc Upsample trên nh«

Các hàm làm vic trên các thành phn liên thông: nh tìm cáccomponent, tìm các ng vin (FindContour)«

Kho sát moment: làm vic trên mi th liên quan n Moment.

Nhng bin i c bit : Các bin i khác vi Affine hay Canny, víd nh bin i Hough tìm ng thng, tìm ng tròn«

Làm vic vi Histograms: cung cp các hàm trên Histogram nh lyHistogram ca mt vùng, cân bng Histogram«

Nhóm phân tích cu trúc Bao gmCác x lý trên Contour: bao gm xp x Contour, tính din tích Contour«Các tính toán hình hc: tìm ng bao, hình bao, a giác«Còn có nhiu nhóm khác na trong phn này nh các hàm làm vic trên Camera, trên phântích chuyn ng ca im nh, phân on nh (segmentation)«, tuy nhiên chúng tôi khôngtrình bày ra vì lý do không cn thit. Phn tip theo chúng tôi s trình bày thành phn quantrng cui cùng, HighGUI.

A.2.3. HighGUI HighGUI cung cp các hàm thao tác trc tip lên file nh và camera, trong ó phn làmvic vi nh chia thành 2 nhóm chính là nhóm tác ng lên giao din và nhóm tác ng lênnh.

Nhóm tác ng lên giao din Bao gm:



Các hàm làm vic vi ca s: gm các hàm to ca s, hy ca s, ly Handle ca mt cas, thay i kích thc ca mt ca s.Làm vic vi mouse và bàn phím: Cung cp mt s hàm c bn x lý nhng s kin tngng vi mouse và bàn phím.Các hàm hin th nh lên ca s: ây ch có mt hàm duy nht: cvvShowImage.

Ví d hin th mt nh lên mt ca s mi có title là ³Source´, ta làm nh sau:

IplImage *source;

source = cvvLoadImage(path); // load image

cvvNamedWindow(³Source´, 1 );

// hien thi anh len cua so vua tao

cvvShowImage(³Source´, img);

Nhóm tác ng lên file nh Bao gm:cvLoadImage: c mt nh vào cu trúc IplImage. Các loi nh h tr hin ti là:o Windows bitmaps - BMP, DIB;o JPEG files - JPEG, JPG, JPE;o Portable Network Graphics - PNG;o Portable image format - PBM, PGM, PPM;o Sun rasters - SR, RAS;o TIFF files - TIFF, TIF.cvSaveImage: Lu mt nh vào file, nh dng tùy thuc vào phn m rng ca tên file munlu.A.3. Áp dng OpenCV

A.3.1. S dng vi Microsoft Visua

l Studio C++ 6.0 Mc dù sau khi cài t, OpenCV gm rt nhiu file, nhng vi nh cu n gin, ta ch thts cn các file các th mc sau:OpenCV\Cv\IncludeOpenCV\Cxcore\IncludeOpenCV\Otherlibs\HighguiOpenCV\lib3 file dll: cv097.dll, cxcore097.dll và highgui097.dllTa có th áp dng b th vin này cho Visual C++ 6.0, C#, Visual C++.NET, BorlandC++,« tuy nhiên theo chúng tôi thì nên s dng Visual C++ 6.0 nht vì OpenCV c pháttrin ch yu theo ngôn ng C, do vy trên môi trng .NET s không thun li lm.

s dng b th vin này, ln lt làm theo các bc:1. Vào Project/Settings« và chn C/C++, sau ó trong Category chn Preprocessor. Trong phn Additional include directories ta in vào ng dn y n 3 th mc lit kê utiên trong danh sách bên trên.2. Vào Project/Settings« và chn Link, sau ó trong Category chn Input. TrongObject/Library Modules, in vào: ³cv.lib cxcore.lib highgui.lib´, trong Aditional LibraryPath in vào ng dn y th mc th 4 trong danh sách bên trên.3. Chép 3 file dll vào th mc cha project.





Documents

54580148 Open Cv Computer Vision Thi Giac May