AI  and  Automated  Driving:  An  Ethically  Aligned  Design

Raja  Cha'la  

Ins'tut  des  Systèmes  Intelligents  et  de  Robo'que  (ISIR)  

University  Pierre  &  Marie  Curie,  Sorbonne  Universités,  Paris  

 

Automated  Driving:  Increased  Safety?

• Complex  and  evolving  environment  • Mixed  traffic  • Unexpected  events  • Incomplete,  noisy  percep'on  • Non  determinis'c  ac'ons  (non  fully  predictable  ac'on  outcomes)  • Limited  situa'on  awareness  • Real-­‐'me  decisions  

2  

Automated  Driving:    Normal  situa=ons  and  moral  dilemmas

     

           

3  

? ?

A  Design  Approach  for  an  AI  Moral  Agent:  Value  by  Design •  Dilu'on  of  responsibili'es:  Designer?  Manufacturer  ?  Dealer?  Operator?  

Owner?  The  Autonomous  agent?  •  Crea'on  of  a  moral  personhood  for  autonomous  agents?  Probably  a  bad  idea  •  Following  an  ethical  approach  provides  guidelines  and  common  grounds  •  Opera'onal  rules  can  be  implemented  and  explained  •  Shared  norms,  and  local  adapta'on    •  Problems:    •  acceptability  and  consensus  on  the  ethical  values  •  Rule  set  completeness  •  Uncertain'es  

4  

Value-­‐Sensi=ve  Design

5  Sarah  Spiekermann,  Ethical  IT  Innova'on,  CRC  Press  ,  2016  

6  

Conclusions:  Design  Guidelines

• Pragma'c  moral  approaches  based  on  learning  and  valida'on  may  be  more  appropriate  • Clearly  define  limits  of  machine  capaci'es:  decision-­‐making,  control  algorithms,  percep'on.  • Qualify  uncertain'es.  • Design  for  tracing  robot  decisions.  • Design  for  predictability  of  human-­‐machine  system.    • Transparent  design  of  decisional  system  

7