Machine  Learning  for  Language  Technology    Lecture  11:  Logis.c  Regression  

Marina  San.ni  Department  of  Linguis.cs  and  Philology  Uppsala  University,  Uppsala,  Sweden  

 Autumn  2014  

 Acknowledgement:  Thanks  to  Prof.  Joakim  Nivre  for  course  design  and  materials  

1  

”Our  Linear”  Classifiers  and  their  Induc.ve  biases  (or…  how  to  find  the  weights)  

•  Perceptron  (online):  minimizes  error  in  the  training  set  

•  SVMs  (batch):    minimizes  error  in  the  training  set  and  maximizes  margin  

•  MIRA  (online):    minimizes  error  in  the  training  set  and  maximizes  margin  

•  Logis.c  Regression  (batch):    maximizes  the  likelihood  of  the  training  data  

Appendix:  Gradient  Ascent  

The  end