Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
11
Shape Descriptors IIShape Descriptors II
Thomas Funkhouser
CS597D, Fall 2003Princeton University
Thomas Funkhouser
CS597D, Fall 2003Princeton University
Taxonomy of Shape Descriptors
������������������ ���
� �������
� ����������������
� �����������������
���� �� ����������� ���
� ������������������������
� ���� ������� ����������
� �� ������� ����
22
Statistical Shape Descriptors
�� �����������
� �����
� !�����
� "�����
� #������$���� ���%���
� ��� ����#���������� ��
� ��� �������� ����%���
�� ������ ������
� ����� ��������
� &����� ������ ���
� ����� ��� ��� ���
Statistical Shape Descriptors
�� �����������
� �����
� !�����
� "�����
� #������$���� ���%���
� ��� ����#���������� ��
� ��� �������� ����%���
�� ������ ������
� ����� ��������
� &����� ������ ���
� ����� ��� ��� ���
33
Alignment
'������� ���()�����*�"���+
���� (,�� ���-� �� ��+
�=
=n
iip
nc
1
1
�=
=n
iip
ns
1
21
Alignment
,���� ���(�)�+
� �� �� ���������� �������������� ����� ���������� ���������*�.�������������������� �������� �
PCAComputation
Principal AxisAlignment
44
Alignment
,���� ���(�)�+
� �� �� ���������� �������������� ����� ���������� ���������*�.�������������������� �������� �
Not very robust!
Alignment
" ����
� �)����������� ��� ��� ����*���� �� ������
Need heuristics to determine positive axes!
55
Alignment-Independent Descriptors
/������ ��0� �� ��� ** ������� ������ 1�*���� **����� ������� �������� ���� ��
"�� ��� ��0��� ������������� ��������� �� ���� ������������ ��������� ��������� ���� ��� � ��� ����� ��� ��
Three mugs aligned automatically with PCA
Shape Histograms
�������� ����������� ���������*�������������*����� ������� **������� �*����������*�����
Image courtesy of Ankerst et al, 1999
Shape Histograms (shells)(Ankherst, 1999)
Radius
66
Shape Histograms
�������� ����������� ���������*�������������*����� ������� **������� �*����������*�����
Image courtesy of Misha Kazhdan
ShapeDescriptor
3D Model SphericalDecomposition
0.7
0.3
0.1
Shape Histogram Experiment
'����������� ��� �� ������������������ ��2�345��������36�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
77
Shape Histogram Retrieval Results
��� � ���������������(����*�������7�� �+
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
onShape Histogram [Ankerst et al.]
EGI [Horn]
Moments [Elad et al.]
Random
1
Shape Histograms
����� �
ü %���� � ������� �
ü %���� � �����������8
ü ,��������������� �
ü 9� �����������
ü #** � �����������
ü )��� ���������
ü %���� ������������ ���
� - ��� � ��� ��:
88
Harmonic Shape Descriptor
;8� ��0
� -�������������� ��� ����� �������*������ ��� ���������������
� �����<��������=��*����������� ��� �������������
3D ModelShape
DescriptorHarmonic
Decompositions
Step 1: Normalization
>����� 1�*����������� �����������
3D Model
99
Step 2: Voxelization
,���� 1 ��8�������*���� ����?-����� �� �
3D Voxel Grid
Step 3: Spherical Decomposition
%�������� ���������� ������
Spherical Functions
1010
Step 4: Frequency Decomposition
,������������ ����*���� �������������*������� ��*�7��� ��(�����+
Spherical Functions
,������������ ����*���� �������������*������� ��*�7��� ��(�����+
Step 4: Frequency Decomposition
SphericalFunctionSphericalFunction
Spherical Functions
1111
,������������ ����*���� �������������*������� ��*�7��� ��(�����+
Step 4: Frequency Decomposition
+ + += …SphericalFunction
Harmonic Decomposition
,������������ ����*���� �������������*������� ��*�7��� ��(�����+
Step 4: Frequency Decomposition
=
+ + +
+ + +
Constant 1st Order 2nd Order
= …
…
SphericalFunction
1212
,������������ ����*���� �������������*������� ��*�7��� ��(�����+
Step 4: Frequency Decomposition
=
+ + +
+ + +
Frequency Decomposition
= …
…
SphericalFunction
Amplitudes are invariant to rotation
Step 5: Amplitude Computation
�����<��������=�(@.�����+��*���������� ��� ������������ ��*�7���8��*��������
Frequency Radius
Harmonic Shape Descriptor
1313
Matching Harmonic Descriptors
-* ��� � ��� �8����@.�� ��������������� ����
� #������������� ������ ��� �������*���������
� ���� ��������������*���@.�� ����������������
, = - ≤
-
-
-
�
Sim
Harmonic Shape Descriptor
����� �
Ø )��� ���������:
� 9� �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,��������������� �:
� %���� ������������*����:
� #** � �����������:
� - ��� � ��� ��:
Frequency Radius
2048 bytes per model(16 frequencies x 32 radii x 4 bytes)
1414
Harmonic Shape Descriptor
����� �
ü )��� ���������
Ø 9� �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,�������� ������ �:
� %���� ������������*����:
� #** � �����������:
� - ��� � ��� ��:
2 A
����
����
(����
���
�+
Polygons
Voxels
SphericalDecomposition
FrequencyDecomposition
HarmonicShapeDescriptorfrequency radius
Harmonic Shape Descriptor
����� �
ü )��� ���������
Ø 9� �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,�������� ������ �:
� %���� ������������*����:
� #** � �����������:
� - ��� � ��� ��:
2 A
����
����
(����
���
�+
Polygons
Voxels
SphericalDecomposition
FrequencyDecomposition
HarmonicShapeDescriptorfrequency radius
1515
Harmonic Shape Descriptor
����� �
ü )��� ���������
ü 9� �����������
Ø %���� � ������� �
Ø %���� � �����������8
Ø ,�������� ������ �
� %���� ������������*����:
� #** � �����������:
� - ��� � ��� ��:
Rasterize polygon surfaces(no solid reconstruction)
Harmonic Shape Descriptor
����� �
ü )��� ���������
ü 9� �����������
ü %���� � ������� �
ü %���� � �����������8
ü ,��������������� �
Ø %���� ������������*����
� #** � �����������:
� - ��� � ��� ��:
ü Rotationü Mirrorü Translation (w/ normalization)ü Scale (w/ normalization){
1616
Harmonic Shape Descriptor
����� �
ü )��� ���������
ü 9� �����������
ü %���� � ������� �
ü %���� � �����������8
ü ,�������� ������ �
ü %���� ������������*����
Ø #** � �����������:
� - ��� � ��� ��: 0.0
0.5
1.0
1.5
2.0
0 5000 10000 15000 20000
Database size (models)
Sea
rch
tim
e (s
ecs)
IndexedNot In
dexed
0.23 secondsto search
17,500 models
Harmonic Shape Descriptor
����� �
ü )��� ���������
ü 9� �����������
ü %���� � ������� �
ü %���� � �����������8
ü ,�������� ������ �
ü %���� ������������*����
ü #** � �����������:
Ø - ��� � ��� ��:
1717
Harmonic Matching Results
'����������� ��� �� ������������������ ��2�345��������36�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
Harmonic Retrieval Results
��� � ���������������(����*�������7�� �+
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
Harmonic Shape Descriptor
Shape Histogram [Ankerst et al.]
EGI [Horn]
Moments [Elad et al.]Random
1
1818
Statistical Shape Descriptors
�� �����������
� �����
� !�����
� "�����
� #������$���� ���%���
� ��� ����#���������� ��
� ��� �������� ����%���
�� ������ ������
� ����� ��������
� &����� ������ ���
Ø ����� ��� ��� ���
Shape Distributions
"�� ��� ��0�����������������* �� ������������������ 1�� ���*�������� ��
3D SurfaceAudio
2D Contour 3D Volume
1919
Shape Distributions
;8� ��0����?-����*�������������������� 1�� ����8��������8����� �������*���� ��
3D Models D2 Shape Distributions
,������8�������
*���� ��
� � ��� �8"����
- �����
- ��������
��� �
�8���
��� �
�8
Which Shape Function?
%������� ��0�� �������*���� �������������������� ������������������������
A3(angle)
D1(distance)
[Ankerst 99]
D2(distance)
D3(area)
θ
θ
D4(volume)
2020
D2 Shape Distribution
����� �
� )��� ���������:
� 9� �����������:
� %���� ������������*����:
� #** � �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,��������������� �:
� - ��� � ��� ��:
D2 Shape Distribution
����� �
Ø )��� ���������:
Ø 9� �����������:
� %���� ������������*����:
� #** � �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,�������� ������ �:
� - ��� � ��� ��: 512 bytes (64 values)
0.5 seconds (106 samples)
- �����
���
��� �
�8
���������
2121
D2 Shape Distribution
����� �
ü )��� ���������
ü 9� �����������
Ø %���� ������������*����:
� #** � �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,�������� ������ �:
� - ��� � ��� ��:
ü Translationü Rotationü Mirror{
Normalized Means
ü Scale (w/ normalization)
��������� ������
- �����
���
��� �
�8
���������
D2 Shape Distribution
����� �
ü )��� ���������
ü 9� �����������
ü %���� ������������*����
Ø #** � �����������:
� %���� � ������� �:
� %���� � �����������8:
� ,�������� ������ �:
� - ��� � ��� ��:
������
2222
D2 Shape Distribution
����� �
ü )��� ���������
ü 9� �����������
ü %���� ������������*����
ü #** � �����������
Ø %���� � ������� �:
Ø %���� � �����������8:
Ø ,��������������� �:
� - ��� � ��� ��:
1% Noise
D2 Shape Distribution
����� �
ü )��� ���������
ü 9� �����������
ü %���� ������������*����
ü #** � �����������
ü %���� � ������� �
ü %���� � �����������8
ü ,��������������� �
Ø - ��� � ��� ��:
2323
D2 Shape Distribution Results
9��� ��
� &���� ��� � ��� �����-.������ ��� ��� ���:
'����������
� 2??���8�����������
� .6�������
B�"���
A�)���
?�C����
D2 Shape Distribution Results
-.�� ��� ��� �������� **�����������������
D2 shape distributions for 15 classes of objects
2424
D2 Shape Distribution Results
D2 distributions for 5 tanks (gray) and 6 cars (black)
- �����
���
��� �
�8
D2 Shape Distribution Results
� � ��� �8�"��� �
� -�������������� � ��� �8
C�����
� '����������
� � �����
� &�����
� &� �����
al bl btbp bt cr cr cw hr hn lp lg me mg ok pn pe pe re sd sa sp sb te tk
animal
ball
beltblimp
boat
car
chair
claw
helicopter
human
lamp
lightning
missle
mug
openbook
pen
phone
plane
rifle
skateboard
sofa
spaceship
sub
table
tank
al bl btbp bt cr cr cw hr hn lp lg me mg ok pn pe pe re sd sa sp sb te tk
animal
ball
beltblimp
boat
car
chair
claw
helicopter
human
lamp
lightning
missle
mug
openbook
pen
phone
plane
rifle
skateboard
sofa
spaceship
sub
table
tank
2525
D2 Retrieval Experiment
'����������� ��� �� ������������������ ��2�345��������36�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
D2 Retrieval Results
��� � ���������������(����*�������7�� �+
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
Harmonic Shape Descriptor
D2 Shape Distribution [Osada et al.]
Shape Histogram [Ankerst et al.]
EGI [Horn]Moments [Elad et al.]
Random
1
2626
Shape Distributions
>������0
� C��������*���� ���
� C���������� ���������
� ����8� ����
D2 Shape Distribution Results
D2 shape distributions for 15 classes of objectsLine Segment
,���� 1 �� ������������ ���-.�� ��� ��� ���
2727
D2 Shape Distribution Results
,���� 1 ��������������� ���-.�� ��� ��� ���
D2 shape distributions for 15 classes of objects
Circle
D2 Shape Distribution Results
,���� 1 ��������������� ���-.�� ��� ��� ���
D2 shape distributions for 15 classes of objectsCylinder
2828
D2 Shape Distribution Results
,���� 1 ��������������� ���-.�� ��� ��� ���
D2 shape distributions for 15 classes of objects
Sphere
D2 Shape Distribution Results
,���� 1 ��������������� ���-.�� ��� ��� ���
D2 shape distributions for 15 classes of objectsTwo Spheres
2929
Taxonomy of Shape Descriptors
������������������ ���
� �������
� ����������������
� �����������������
���� �� ����������� ���
� ������������������������
� ���� ������� ����������
� �� ������� ����
Taxonomy of Shape Descriptors
������������������ ���
� �������
� ����������������
� �����������������
���� �� ����������� ���
� ������������������������
� ���� ������� ����������
Ø �� ������� ���� Next Time!