Computer Vision &
Pattern Recognition Lab.
Computer Vision & Pattern Recognition Lab.
제7장 멀티미디어 정보 검색
Computer Vision & Pattern Recognition Lab. 2 /27 2014-02-13
멀티미디어 정보 검색
멀티미디어 검색의 필요성
다양한 종류의 멀티미디어 자료를 사용자의 입장에서 효율적으로 검색할 필요성이 증대함
대용량 멀티미디어 정보를 효과적으로 검색하기 위해서는 효율적인 색인 및 관리가 필수적임
멀티미디어 검색의 종류
Text 기반(Text-Based) 검색
내용 기반(Content-Based) 검색
Computer Vision & Pattern Recognition Lab. 3 /27 2014-02-13
Text 기반의 검색 멀티미디어에 포함된 내용을 text로 색인하고 검색
장점 기존의 Query Language(예:SQL)를 사용하여 주제어로 DB 검색
단점 방대한 멀티미디어 데이터에 대해 사람이 직접 수작업으로 색인(manual indexing)
시간과 비용이 많이 들며, 효율성이 낮음
멀티미디어(영상/비디오)의 내용을 객관적으로 색인하기 어려움
내용 기반 색인/검색(객관적, 자동적 색인)
Computer Vision & Pattern Recognition Lab. 4 /27 2014-02-13
내용 기반 멀티미디어 검색
내용 기반 검색
멀티미디어 데이터를 대표하는 특징 추출
색상, 형태, 질감, 움직임, 등
추출된 특징을 기반으로 색인 및 검색
DB 구축의 시간 및 인력의 소모를 줄임
멀티미디어 정보를 효과적으로 정량화하는 작업이 중요함
Computer Vision & Pattern Recognition Lab. 5 /27 2014-02-13
百聞 不如一見
-하늘
-구름
-해
-숲
-호수
내용 기반 멀티미디어(영상) 검색
-새
Computer Vision & Pattern Recognition Lab. 6 /27 2014-02-13
MPEG-7 표준화 작업
멀티미디어 컨텐츠를 효율적으로 검색하기 위한 표준화된 기술자(Descriptor)의 제정
MPEG-7의 Visual Descriptor: 컨텐츠를 정량적으로 표현 색상 (Color)
형태 (Shape)
질감 (Texture)
움직임 (Motion)
내용기반 검색의 응용 분야 Digital T.V
Video on Demand
Home shopping
DMB(Digital Multimedia Broadcasting)
Smart phone
Computer Vision & Pattern Recognition Lab. 7 /27 2014-02-13
Scanner 특징 추출 영상 DB
특징 추출 매칭
데이터베이스 생성
데이터베이스 검색
Query
입력
영상자료 입력
내용 기반 영상 검색 시스템의 구성도
• 중요 issue : 특징 추출 (Feature extraction).
즉, 영상의 내용을 어떻게 정량화 하느냐?
Computer Vision & Pattern Recognition Lab. 8 /27 2014-02-13
대표적인 Feature의 종류
색상 (Color ) 영상 내의 pixel들이 가지고 있는 색상 정보를 사용
Histogram을 이용한 방법이 많이 사용됨
형태 (Shape) 영상 내 물체들의 윤곽선이 나타내는 형태의 특성을 사용
질감 (Texture) 벽지, 옷감, 곡물, 대리석 영상 같은 특정한 질감의 특성을 사용
움직임 (Motion) 카메라 또는 객체들의 움직임 특성을 사용
Computer Vision & Pattern Recognition Lab. 9 /27 2014-02-13
영상 내의 pixel들이 가지고 있는 색상 정보를 사용
=> Histogram을 이용
Idea
- 유사한 영상은 유사한 color histogram을 가짐
(Histogram이 같다고 영상이 같은 것은 아님에 유의)
Color histogram의 matching에 근거를 둔 matching 방식
크기가 다른 영상에 대해서 histogram normalize가 필요
Color 기반 검색
Computer Vision & Pattern Recognition Lab. 10 /27 2014-02-13
[1] Histogram difference
1. Database의 모든 영상에 대한 Normalized color histogram 를 계산함
2. Query 영상에 대한 Normalized color histogram 를 계산함
3. Query 영상과 Database의 모든 영상과의 Histogram 차이를 계산함
4. 의 값이 작은 순서에 따라 유사도를 결정함
)(iH d
)(iH q
n
j
dq jHjHDQDiff1
|)()(|),(
),( DQDiff
Color 기반 검색
Computer Vision & Pattern Recognition Lab. 11 /27 2014-02-13
[2] Histogram Intersection
1. Database의 모든 영상에 대한 Normalized color histogram 를 계산함
2. Query 영상에 대한 Normalized color histogram 를 계산함
3. Query 영상과 Database의 모든 영상과의 Histogram 의 공통부분을 계산함
4. 의 값이 큰 순서에 따라 유사도를 결정함
),( DQSim
Color 기반 검색
])(),(min[),(1
n
j
dq jHjHDQSim
)( jHd
)( jHq
Computer Vision & Pattern Recognition Lab. 12 /27 2014-02-13
Histogram
Q D
dHqH
Computer Vision & Pattern Recognition Lab. 13 /27 2014-02-13
Color histogram을 이용하여 영상 간의 유사도를 측정
영상 검색에서 가장 많이 쓰이는 방법
구현이 용이함
Histogram을 사용하면, 공간 정보가 없어 진다는 단점
Color 기반 검색의 Issue들
- Color model : RGB, HSV, YCrCb, …
- Color quantization : Bin의 개수 Linear, Nonlinear, LUT
- 유사도의 측정 방법
- 공간 정보의 손실을 어떻게 보상하는가?
예: 영상을 분할하여 영역별 히스토그램을 이용
Computer Vision & Pattern Recognition Lab. 14 /27 2014-02-13
Histogram 기반 방법의 특징
Histogram bin 간의 거리 산출에 의한 비교
장점 구현이 간단함
빠른 속도로 영상의 유사도 산출
회전과 이동에 강건함
단점 복잡한 구성의 영상 검색에는 부적당
영상의 공간 정보를 반영하지 못함
Computer Vision & Pattern Recognition Lab. 15 /27 2014-02-13
Shape 기반 검색
가정: 영상 내에 한 개의 object만 존재
Computer Vision & Pattern Recognition Lab. 16 /27 2014-02-13
Shape 기반 검색
Curvature scale-space(CSS)
물체 윤곽선의 곡률(Curvature) 정보를 이용
Descriptor 계산 방법
1. 윤곽선 상의 임의점에서 시작
2. 윤곽선을 정의하는 함수 x(u) , y(u)를 생성 u: 윤곽선 상에서 시작점으로부터의 곡선 거리
(총 거리는 1로 normalize 함)
x (u), y (u): 윤곽선 상의 점의 x 좌표, y 좌표
3. x(u) , y(u)를 sampling 함 (256 points) : X(i), Y(i)
4. Curvature를 계산
5. Curvature 함수의 최대값과 그 위치를 저장
Computer Vision & Pattern Recognition Lab. 17 /27 2014-02-13
Example
원
타원
삼각형
사각형
Computer Vision & Pattern Recognition Lab. 18 /27 2014-02-13
매칭 방법 (형태의 유사도 측정 방법) Curvature 함수값 계산 방법
예: 원에 대한 Curvature 계산
위치, 회전, 크기변화에 불변하도록
시작점 위치에 따라 함수가 변화 함
=> 불변하도록 하는 방법?
Curvature 함수를 이용한 형태 유사도 측정 방법?
=> 유사한 형태일수록 유사도 값이 커지도록
)()()()()( uyuxuyuxuk
)()()()()(
)sin()(),cos()(
)cos()(),sin()(
)sin()(),cos()(
uyuxuyuxuk
uuyuux
uuyuux
uuyuux
Computer Vision & Pattern Recognition Lab. 19 /27 2014-02-13
Texture 기반 검색
Texture 정의
Homogeneous patterns or spatial arrangements of pixels
that regional intensity or color alone does not sufficiently
describe
Texture의 예 (가정: 영상 내에 한 개의 texture만 존재)
Texture => 반복성 (반복의 방향과 주기)
Computer Vision & Pattern Recognition Lab. 20 /27 2014-02-13
Fourier Transform 이용
Fourier Transform
특징 Texture의 Orientation(방향)을 측정하는 measure
Texture의 Coarseness(주기)를 측정하는 measure
dxdyvyjuxjyxfv)F(uy)}{f(x )]2exp()2exp(),([,,
]2
)12(cos[]
2
)12(cos[),(),(
1
0
1
0 N
vy
N
uxyxfvuF
N
x
N
y
Computer Vision & Pattern Recognition Lab. 21 /34 2014-02-13
2D DCT
]2
)12(cos[]
2
)12(cos[),()()(),(
1
0
1
0 N
vy
N
uxyxfvuvuF
N
x
N
y
]2
)12(cos[]
2
)12(cos[),()()(),(
1
0
1
0 N
vy
N
uxvuCvuyxf
N
u
N
v
For v=0 to N-1 For u= 0 to N-1 sum=0; For y= 0 to N-1 For x= 0 to N-1 sum += f[x, y] * cos((2*x+1)*u* / 2N) * cos((2*y+1)*v* / 2N) Endfor Endfor if (u==0) sum = sum/sqrt(N); else sum = sum*sqrt(2) /sqrt(N); if (v==0) sum = sum/sqrt(N); else sum = sum*sqrt(2) /sqrt(N); F[u,v]=sum; Endfor Endfor
Computer Vision & Pattern Recognition Lab. 22 /27 2014-02-13
Fourier Transform
Computer Vision & Pattern Recognition Lab. 23 /27 2014-02-13
FT 계수를 정량화하여 Descriptor를 계산
Annular ring filter: coarseness(주기)
Wedge filter: orientation(방향성)
High frequency
Low frequency
Annular ring filter Wedge filter
Computer Vision & Pattern Recognition Lab. 24 /27 2014-02-13
Motion 기반 검색
[1] Motion activity
Block motion vector 의 angle과 magnitude 분석
Descriptor 계산 과정
(1) 모든 블록에 대해서 움직임 벡터의 각도와 크기를 계산
(2) 움직임 벡터의 각도와 크기에 대한 히스토그램을 계산
(3) 8개의 descriptor를 계산
움직임 벡터
각도 히스토그램 크기 히스토그램
)(rH
r
1.0
0.5
0.0
1 2 3 4 5 6 7 8
)(H
1.0
0.5
0.0
0 45 90 135 180 225 270 315
T
MeanDevIntIntensityDevsqrt
DevDevInt
T
IntensityDev
MeanDevInt
T
MeanAvgIntIntensityAvgsqrt
DevAvgInt
T
intensityAvg
MeanAvgInt
T
leMeanDevAngangleDevsqrt
DevDevAng
T
angleDev
MeanDevAng
T
leMeanAvgAngangleAvgsqrt
DevAvgAng
T
angleAvg
MeanAvgAng
T
i
i
T
i
i
T
i
i
T
i
i
T
i
i
T
i
i
T
i
i
T
i
i
))_((
_
))_((
_
))_((
_
))_((
_
2
2
2
2
Computer Vision & Pattern Recognition Lab. 26 /27 2014-02-13
[2] Motion Trajectory
동기 객체 움직임의 궤적을 특징값으로 표현
응용 분야 Surveillance
Object-based video search and retrieval
Hyper-linking an object to relevant information
가정 Object segmentation
Fixed camera
Actually this is a BIG Issue
Computer Vision & Pattern Recognition Lab. 27 /27 2014-02-13
검색 기법의 성능 평가
성능 평가를 위한 척도
||
||
B
BArecall
||
||
A
BAprecision
A B
A : 검색 시스템이 사용자에게 출력한 결과의 집합 B : 데이터베이스에 저장되어 있는 데이터 중 찾아내야 할 데이터의 집합
Computer Vision & Pattern Recognition Lab. 28 /27 2014-02-13
향후 과제
영상의 특징을 정량적, 효과적으로 기술하는 방안
검색의 효율성을 높이기 위해 두 가지 이상의 방법을 혼합 사용
색상이나 질감 같은 하위 수준의 특징으로 영상의 내용을 정확히 표현하기 어려움
영상 내에 존재하는 객체를 추출하고 인식하는 object segmentation 기술에 대한 연구가 필요