10

6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest
berwick
Rectangle
berwick
Text Box
6.034 Recitation, Thursday, Nov. 10, Handout 2
Page 2: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

"�����������

���� ��� �� ������������������������ ����� � �������������#)�������5����� �������������!�

������� ���'�����

�� ;

� ;

2

Page 3: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

"�����������

��� ������������&����/������1��)����������������

������� ���'�����

�� �

�� �

�� �

� �

�! �

"���+������

8�����������������������)���������&���*��������<����������/#��<1:

8�����������������������)���������&���*��������<����������/#�#1:

� ������������*���������2����/=��$1�������������������������"������������������#�

���������

��� ���������������������������

=

Page 4: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

�!���,������#��$�#�- �� ������������ 4�'������������� �����)������������'��&���������'�������������������)��&����������)�������

��*��� �����>�������)�����)�������&����������$%&���'(������������'����������� ����������������

�����)������������������������)�$%&������������������� ���������������������)����������*�

�������������"��������������������� ��������������������������������������������������� ����)���������������������������������������������)�����������������

� ��� ��� �������

$%&����������'(

� ��� ��� ���������!�$

$%&����������'(

� ��� ��� �����������

$ $

$%&����������'(

"

Page 5: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

6

Final Exam 2002 Problem 6: Support Vector Machines (14 Points)

Part A: (2 Points)

The following diagrams represent graphs of support vector machines trained to separate pluses (+) from

minuses (-) for the same data set. The origin is at the lower left corner in all diagrams. Which

represents the best classifier for the training data? See the separate color sheet for a clearer view of

these diagrams.

Indicate your choice here:

A. B. C.

D. E.

Part B: (5 Points)

Match the diagrams in Part 1 with the following kernels:

Radial basis function, sigma .08

Radial basis function, sigma .5

Radial basis function, sigma 2.0

Linear

Second order polynomial

Page 6: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

7

Part C: (3 Points)

Order the following diagrams from smallest support vector weights to largest support vector weights,

assuming all diagrams are produced by the same mechanism using a linear kernel (that is, there is no

transformation from the dot-product space).

The origin is at the lower left corner in all diagrams. Support vector weights are also referred to as !i

values or LaGrangian multipliers. See the separate color sheet for a clearer view of these diagrams.

Smallest Medium Largest

A. B. C.

Part D (4 Points)

Suppose a support vector machine for separating pluses from minuses finds a plus support vector at the

point x1= (1, 0), a minus support vector at x2= (0, 1).

You are to determine values for the classification vector w and the threshold value b. Your expression

for w may contain x1 and x2 because those are vectors with known components, but you are not to

include any !i or yi. Hint: Think about the values produced by the decision rule for the support vectors,

x1 and x2.

w

b

Page 7: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

����� �����,�����#���������� �)��������&��� ��?����&�)����*������������>�������������������&�������������@��)���������������&�

���������)������������������6 �&��������������������������������������� ���������������?��� ������

� ������������������������)������������-�������������)���������������)��������������)�������

)�������A��������*���������������� �����)�������&���)����)�����A������&��������������������������

�� ����� ���������������)����������������������))���������������������)�����������������������

4�������������)�������)��������>��������������� ���������������'�����������-�����

+, '��� -����� &����� .���

/����

0����"�����

-�������

.��1.�����

�����"����

2������"�

�����)"���*

! �����) $�� 8���� .�� .�� �� $

$ �� ��� ' 8���� .�� �� �� $�"

2 �� �� ' 8���� .�� �� .�� #

= +�&���� $�� -�) .�� .�� �� $

" ���(4��� $�� -�� �� �� �� #

< ��� $�� @����� �� .�� �� #�$"

B -���� $�� -�) .�� �� .�� $

C ��� � ' @����� �� �� .�� !

% ��&�� $�� ��� �� .�� �� #�B"

!# 8���('��&�

�)���&��

' ��� .�� �� .�� $�"

Page 8: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

�!���"����.�#�/�!��' ������������

"����������

�����������������&��������������������������������������&�������������5���������&�����������������

�� �����'������ ��������������������������� ����������������)�!��������������� �������������� ����

������� �����������&������)����>����������������)����������������-����)�������))����������)�������

&�*����� ��� ��A7�������������� ���0!�/)����1��)�� ������(!�/�����1��)�)�����

3�����"��� 4��� /��������"���

� �������������8����

4 �������������-�) !��"��<��%

� ������������������

7 7���������*����&� !��=��B��C

- A����������)�����>���������

> @�������������������&��)����� $��B

@���D;�!)�

@ @���D;�$�)�

A >���� $��2��C��!#

E -����

"����������

+��'��&���������� �����)��� � ���������)������� �� �'���������������&�������'������)����

/��'��)���������=����1��8�����������:

3�����"��� 4��� /��������"���

F

+

B

berwick
Text Box
2, 3, 4, 5, 6, 7, 9
berwick
Text Box
2, 3, 8, 9
berwick
Text Box
1, 2, 3, 4, 6, 8, 9, 10
berwick
Text Box
1, 3, 4, 7, 8
berwick
Text Box
3, 8
berwick
Text Box
1, 4, 5, 6, 7, 9
berwick
Oval
berwick
Oval
berwick
Oval
berwick
Oval
berwick
Oval
berwick
Oval
berwick
Oval
berwick
Oval
berwick
Text Box
1, 8, 10
Page 9: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

�!���,��,��0�!������#�/�!��' �����������

,�����������

.� �������������������)��� ������������ ���������������������*��)����� ���&������������)� �

�����)���3G5��,��-��+H��, ������4������&���&��������������������������������)� ������)�����>�����������

���&����������)��������������������)�������� �����)��������&��A�������)�������)�*�������)���������

����)������������������

6����� 6����� 6�����

�! �!�; �$�; �2�;

�$ -�; -�; -�;

�2 I�; I�; I�;

�=

�"

�<

�B

�C

�%

�!#

-/41

-/71

-/>1

-/A1

C

berwick
Text Box
Note: initial weights are set to be EQUAL and so 1/10 (they must add up to 1)
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
1/10
berwick
Text Box
2/10 WHY?
berwick
Text Box
F (why?)
berwick
Text Box
2/10
berwick
Text Box
F incorrect:
berwick
Text Box
F correct:
berwick
Text Box
/10
berwick
Text Box
/10
berwick
Text Box
/10
berwick
Text Box
So we pick F as our first 'stump' - why?
Page 10: 6.034 Recitation, Thursday, Nov. 10, Handout 2web.mit.edu/6.034/boostingprobs-fall11.pdf · 2011-11-16 · See the separate color sheet for a clearer view of these diagrams. Smallest

,����������

8������������� ����&������)���������� ���������)��������� �����)�4������&:

@/�1�;

�!���/��,������1�2��� �������������� ����� �������) �������������� �� �����*����'����������&�� ������)������)���������'�����������

�)�����<�#2=���?������������������������'��������������� ���������������!��@����������� �����

�����������&���&��������'������������������� ���������������������������� ����� ���������&���������

������������������������)����)�����)��3�

.)7*���&���8��)7*�9���)7*�9���)7*:�

������)� �����������*���������������8��������������)����G�!���$���2H�����������)���&���������

������������� ����&�@/�1�& ����������������)�������)�����������������:

%

berwick
Text Box
Sign[(1/2 ln ) * F(x) + (1/2ln ) * + (1/2ln )*