Face recognition and description for - Politecnico di Milano · 2018. 2. 27. · email:...

2/26/2018

1

Imaging and Vision LaboratoryUniversità di Milano-Bicoccaweb: www.ivl.disco.unimib.itemail: schettini@disco.unimib.it

Raimondo Schettini 

Face recognition and description for IoT applications

The Home‐IoT and Teinvein projects 

Video‐based driver drowsiness and stress monitoring

Video based action recognition and anomaly detection (car and home environments)  

Short‐ and Long‐term video‐based healthiness monitoring  

Sensor‐based action recognition and anomaly detection 

2/26/2018

2

• For face detection, recognition, description … 

can we use solutions in the state‐of –the art ? 

The Home‐IoT and Teinvein projects 

Examples of Google Picasa face detections

Detected faces are visible in the right columns

2/26/2018

3

Multi‐task AffectNet

Input image

Valence

Arousal

‐1 (low) 1 (high)

‐1 (negative)

1 (positive)

0%

100%

50%

Landmark

Emotion

Valence

Arousal

Output

Happiness

Short‐ and Long‐term video‐based healthiness monitoring using Multi‐task Affect‐Net

But… how can we be sure that the system is recording date of the same person ? 

2/26/2018

4

Face verification

Large Age‐Gap Face Verification

2/26/2018

5

Our CNN immediately said it !

You will find some of our solutions for face detection and recognition in the next release of Canon Lifecake app 

2/26/2018

6

3D face recognition on IPhone X 

Original iPhoneX commercial

2/26/2018

7

iPhoneX faceID fail

2/26/2018

8

IVL processing – both IDs enrolled

IVL processing – only one ID enrolled

2/26/2018

9

Facial attributes estimation by multi‐task CNNs

EyebrowsArchedBushy

Narrow EyeEyeglasses

Bags Under Eyes

HairBlackBlondBrownGrayStraightWavy

BangsBald

Receding Hairline

Wearing Hat

NoseBigPointy Attractive

BlurryChubbyOval FaceSideburnsRosy CheeksHigh CheekbonesPale SkinHeavy MakeupWearing Earrings

Wearing Necklace

Wearing Necktie

Big LipsMouth Slightly OpenSmilingWearing Lipstick

5 o’clock Shadow

Double ChinNo BeardGoateeMustache

17

● Predict biometrics such as: age, gender, ethnicity● Distinguish among, for example, hair color, types of 

beards, or hair styles● Assess the presence/absence of accessories, namely 

eyeglasses, hat, earrings

Face attributes

Facial attributes estimation by multi‐task CNNs

2/26/2018

10

Face attributes

Facial attributes estimation by multi‐task CNNs

2/26/2018

11

IVL processing – face attributes

2/26/2018

12

3D faces  

Face Detection using Curvature Analysis, (Alessandro Colombo, Claudio Cusano, Raimondo Schettini) In Pattern Recognition, volume 39, number 3, pp. 444‐455, Elsevier, 2006. 

Is it time to come back to future (3d) ?  

Imaging and VisionImaging and Visionwww.ivl.disco.unimib.it

We are hiring master students, Phd students, post-doc and RTD-A