1

Introduction à l'Intelligence Artificielle

avec des illustrations en langage Python

René Ebel

Orange Labs Services

29/05/2020

2

Plan

Définition simple de l'IA

Le langage Python

Bref aperçu de quelque 60 ans d'évolution

1 Vision par ordinateur

2 Optimisation combinatoire

3Apprentissage automatique

Apprentissage profond (réseaux de neurones)

4 Traitement automatique du langage naturel

Conclusion

3

Définition simple de l'IA

= l'ensemble des théories et des techniques mises en œuvre en vue de réaliser des machines capables de simuler l'intelligence.

1956 : Conférence de Dartmouth

Le terme d'intelligence artificielle est créé.

« Nous tenterons de découvrir comment

une machine pourrait utiliser le langage,

créer des abstractions et des concepts,

s’améliorer elle-même, résoudre des

problèmes qui sont aujourd’hui l’apanage

de l’intelligence humaine. »

John McCarthy

(1/2)

4

1 3

2

3

1

Problèmes typiques

Outils typiques

Définition simple de l'IA

- Finance, banques

- Militaire

- Médecine

- Droit

- Logistique, transports

- Robotique

- Jeux vidéo

- Art

- Marketing, publicité

- etc…

Domaines d'application

IA : correspond plus à un ensemble de concepts et de technologies qu'à une discipline autonome constituée.

- Optimisation (optimization)

- Optimisation combinatoire (combinatorial optimization)

- Classification automatique (statistical classification)

- Réseau de neurones artificiels (artificial neural network)

- Programmation logique (logic programming),

raisonnement automatisé (automated reasoning)

- Méthodes probabilistes (probabilistic methods)

- Perception (machine perception)

- Vision par ordinateur (computer vision)

- Reconnaissance de la parole (speech recognition)

- Apprentissage automatique (machine learning)

- Traitement automatique du langage naturel (natural language processing)

- Robotique (robotics, motion and manipulation)

- Informatique affective (affective computing, social intelligence)

- Représentation des connaissances et raisonnement (knowledge representation and reasoning)

- Système expert (expert system)

- Planification automatique (automated planning)

(2/2)

4

https://medium.com/@guillaumeandre/machine-learning-et-intelligence-artificielle-le-b%C3%A9aba-ec9cc57cf504https://medium.com/@guillaumeandre/machine-learning-et-intelligence-artificielle-le-b%C3%A9aba-ec9cc57cf504https://en.wikipedia.org/wiki/Artificial_intelligencehttps://en.wikipedia.org/wiki/Artificial_intelligence

5

Un langage de choix pour l’IA : Python

- Libre, open source

- Facile à apprendre, lisible

Pourquoi Python ?

Quelques bibliothèques populaires pour l’IA

- Très nombreuses bibliothèques disponibles

- Interfaçage aisé avec C/C++- …

Magazine « Programmez ! »(11/2018)

- Très populaire dans le monde académique

- Choix de l'éducation nationale

https://www.journaldunet.com/management/formation/1423287-quelles-sont-les-competences-en-ia-les-plus-prisees-en-france/https://www.journaldunet.com/management/formation/1423287-quelles-sont-les-competences-en-ia-les-plus-prisees-en-france/https://cache.media.education.gouv.fr/file/SP1-MEN-22-1-2019/95/7/spe631_annexe_1062957.pdfhttps://cache.media.education.gouv.fr/file/SP1-MEN-22-1-2019/95/7/spe631_annexe_1062957.pdfhttps://cache.media.education.gouv.fr/file/SP1-MEN-22-1-2019/53/0/spe630_annexe_1063530.pdfhttps://cache.media.education.gouv.fr/file/SP1-MEN-22-1-2019/53/0/spe630_annexe_1063530.pdf

6

Bref aperçu de quelque 60 ans d'évolution

7

Faits marquants : reconnaissance visuelle

images de test images d'apprentissage les plus proches

(1/5)

2011 Google Brain- Apprentissage non supervisé

sur des millions d'images

- Réseau de neurones (109 paramètres)

chat humain

1957 Perceptron MARK I(Frank Rosenblatt)

capteur optique avec

réseau de neurones artificiel

1989 LeNet (Yann LeCun, prix Turing 2019)réseau de neurones CNN (~104 paramètres)

pour la lecture d'écriture manuscrite

2012 AlexNet (Krizhevsky, Sutskever et Hinton de l'Université de Toronto)- Compétition ILSVRC (ImageNet Large Scale Visual Recognition Challenge)

- Apprentissage supervisé :

1.2 millions de photos étiquetées, 1000 catégories

- Test : 100000 photos

- Réseau de neurones CNN (60 millions de paramètres)

réponse

attendue

réponses

fournies et

probabilités

tick

https://icml.cc/2012/papers/73.pdfhttps://icml.cc/2012/papers/73.pdfhttps://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdfhttps://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdfhttp://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdfhttp://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdfhttp://image-net.org/challenges/LSVRC/2012/browse-synsetshttp://image-net.org/challenges/LSVRC/2012/browse-synsetshttp://image-net.org/challenges/LSVRC/2012http://image-net.org/challenges/LSVRC/2012https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdfhttps://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

8

Faits marquants : jeux (2/5)

2011 Watson (IBM) remporte le jeu télévisé Jeopardy!

2017/10 AlphaGo Zero- atteint un niveau supérieur à AlphaGo en

jouant uniquement contre lui-même

- article dans "Nature" (2017/10)

1997 Deep Blue (IBM) bat aux échecs le champion du monde Garry Kasparov

1952 Jeu de dames

1979 BKG (Hans Berliner) bat le champion du monde de backgammon

20112014 AlphaGo (Google DeepMind): jeu de go- 2015 Fan Hui (champion d'Europe)

- 2016 Lee Sedol

- article dans "Nature" (2016/01)

- 2017 Ke Jie (champion du monde)

- apprentissage automatique par renforcement

- réseaux de neurones CNN

- Monte Carlo tree search (MCTS)

2019 Pluribus(Facebook,

Carnegie Mellon University)

Poker multi-joueurs

apprentissage automatique

par renforcement

2019 AlphaStar Final(Google DeepMind)

StarCraft II

apprentissage automatique

par renforcement,

réseaux de neurones

profonds

2017/12 AlphaZero- surpasse largement, par auto-apprentissage,

le niveau de tous les joueurs humains et

logiciels, non seulement au go, mais aussi

aux échecs et au shōgi

- article dans "Science" (2018/12)

- apprentissage automatique par renforcement

http://www.cs.tut.fi/~elomaa/teach/watson2013.pdfhttp://www.cs.tut.fi/~elomaa/teach/watson2013.pdfhttps://www.lanl.gov/conferences/salishan/salishan2012/Frase.pdfhttps://www.lanl.gov/conferences/salishan/salishan2012/Frase.pdfhttps://pdfs.semanticscholar.org/2fdf/6ff1a5fa2759d3265db4ddef81b2fdaae81e.pdfhttps://pdfs.semanticscholar.org/2fdf/6ff1a5fa2759d3265db4ddef81b2fdaae81e.pdfhttps://www.ibm.com/developerworks/community/files/app#/file/39ade3ad-8991-465a-826e-bfd39cd1e541https://www.ibm.com/developerworks/community/files/app#/file/39ade3ad-8991-465a-826e-bfd39cd1e541https://pdfs.semanticscholar.org/5856/de5c6f43b6562bc3e93a89e1456fa035ec5e.pdfhttps://pdfs.semanticscholar.org/5856/de5c6f43b6562bc3e93a89e1456fa035ec5e.pdfhttps://pdfs.semanticscholar.org/ee73/acc524082819c0fcdae11c1bf12234d87fec.pdfhttps://pdfs.semanticscholar.org/ee73/acc524082819c0fcdae11c1bf12234d87fec.pdfhttp://faculty.washington.edu/jwilker/559/2018/go.pdfhttp://faculty.washington.edu/jwilker/559/2018/go.pdfhttp://www.csis.pace.edu/~ctappert/dps/pdf/ai-chess-deep.pdfhttp://www.csis.pace.edu/~ctappert/dps/pdf/ai-chess-deep.pdfhttps://bkgm.com/articles/Berliner/BackgammonProgramBeatsWorldChamp/https://bkgm.com/articles/Berliner/BackgammonProgramBeatsWorldChamp/https://www.youtube.com/watch?v=C87AH3Op-J4https://www.youtube.com/watch?v=C87AH3Op-J4http://airesearch.com/wp-content/uploads/2016/01/deepmind-mastering-go.pdfhttp://airesearch.com/wp-content/uploads/2016/01/deepmind-mastering-go.pdfhttps://www.techniques-ingenieur.fr/actualite/articles/google-deepmind-la-machine-surpasse-une-nouvelle-fois-lintelligence-humaine-31609/https://www.techniques-ingenieur.fr/actualite/articles/google-deepmind-la-machine-surpasse-une-nouvelle-fois-lintelligence-humaine-31609/https://www.nature.com/articles/d41586-019-02156-9https://www.nature.com/articles/d41586-019-02156-9https://science.sciencemag.org/content/365/6456/864https://science.sciencemag.org/content/365/6456/864https://www.nature.com/articles/s41586-019-1724-zhttps://www.nature.com/articles/s41586-019-1724-zhttps://deepmind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learninghttps://deepmind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learninghttps://www.generation-nt.com/deepmind-alphastar-final-intelligence-artificielle-starcraft-2-actualite-1970028.htmlhttps://www.generation-nt.com/deepmind-alphastar-final-intelligence-artificielle-starcraft-2-actualite-1970028.htmlhttps://schachklub.ws/wp-content/uploads/2018/12/alfazero_paper.pdfhttps://schachklub.ws/wp-content/uploads/2018/12/alfazero_paper.pdfhttps://science.sciencemag.org/content/362/6419/1140https://science.sciencemag.org/content/362/6419/1140

9

Faits marquants : langage naturel

1964 ELIZA (Joseph Weizenbaum)

simule un psychothérapeute

1968 SHRDLU (Terry Winograd)

Avancée dans la compréhension du langage

naturel

1972 HEARSAY (Raj Reddy)

Reconaissance vocale en continu

1972 PARRY

1988 Jabberwacky

1992 Dr Sbaitso

1995 A.L.I.C.E.

1998 Robot Kismet (Cynthia Breazeal)

Expérimention en informatique affective

2001 SmarterChild

2006 Watson (IBM)

2010 SIRI (Apple)

- Moteur de reconnaissance de Nuance

- Reseaux de neurones CNN et LSTM

2012 Google Now

2015 Cortana (Microsoft)

2015 Alexa (Amazon)

2016 Bots for messenger (Facebook)

2016 Tay (Microsoft)

2016 Zo (Microsoft)

(3/5)

ELIZA (1964) SHRDLU (1968) HEARSAY (1972) Kismet (1998)

Orange Djingo

2019/11 France

Apple HomePod

2018-02 USA

2018-06 France

Amazon Echo Dot

Google Home Mini

Amazon Echo

2014/11 USA

2018/06 FranceGoogle Home Max

Bose

Home Speaker 500

(avec Alexa)

Assistants vocaux

Harman Kardon

Invoke

(avec Cortana)

Google Home

2016-11 USA

2017-08 France

(smart speakers, assistants personnels intelligents,

enceintes connectées, …)

https://www.ijcai.org/Proceedings/73/Papers/021.pdfhttps://www.ijcai.org/Proceedings/73/Papers/021.pdfhttps://dam-prod.media.mit.edu/x/files/wp-content/uploads/sites/14/2015/01/Breazeal-RAS-03.pdfhttps://dam-prod.media.mit.edu/x/files/wp-content/uploads/sites/14/2015/01/Breazeal-RAS-03.pdfhttp://hci.stanford.edu/~winograd/shrdlu/AITR-235.pdfhttp://hci.stanford.edu/~winograd/shrdlu/AITR-235.pdfhttp://www.cs.utep.edu/nigel/papers/shrdlu.pdfhttp://www.cs.utep.edu/nigel/papers/shrdlu.pdfhttps://web.stanford.edu/class/linguist238/p36-weizenabaum.pdfhttps://web.stanford.edu/class/linguist238/p36-weizenabaum.pdfhttps://djingo.orange.fr/https://djingo.orange.fr/

10

Faits marquants : véhicule autonome

2018

1986 VaMoRs (Ernst Dickmanns)

2005 Stanley (Université de Stanford)gagne le DARPA Grand Challenge.

Apprentissage automatique supervisé.

2007 Projet Google car

2009 Waymo

2017

Stanley

Waymo

Waymo

GM

Mercedes-Benz

Renault-Nissan

Audi

BMW

Toyota

Ford

Volvo

Hyundai

Tesla

Uber / Otto

Baidu

…

Camions

Embark

Daimler / Mercedes

Waymo

Volvo

Tesla

Uber / Otto

…

(4/5)

2019

1966 Shakeypremier robot mobile

contrôlé par ordinateur

Voitures

2018

2018

https://www.technologyreview.com/s/612341/a-global-ethics-study-aims-to-help-ai-solve-the-self-driving-trolley-problem/?source=download-metered-contenthttps://www.technologyreview.com/s/612341/a-global-ethics-study-aims-to-help-ai-solve-the-self-driving-trolley-problem/?source=download-metered-contenthttps://www.technologyreview.com/s/603493/10-breakthrough-technologies-2017-self-driving-trucks/https://www.technologyreview.com/s/603493/10-breakthrough-technologies-2017-self-driving-trucks/https://www.bloomberg.com/news/features/2018-05-07/who-s-winning-the-self-driving-car-racehttps://www.bloomberg.com/news/features/2018-05-07/who-s-winning-the-self-driving-car-racehttps://www.salon.com/2018/07/22/these-6-companies-are-making-the-self-driving-truck-a-reality_partner/https://www.salon.com/2018/07/22/these-6-companies-are-making-the-self-driving-truck-a-reality_partner/https://korii.slate.fr/tech/voiture-autonome-science-fiction-promesses-tesla-uber-waymohttps://korii.slate.fr/tech/voiture-autonome-science-fiction-promesses-tesla-uber-waymohttps://pdfs.semanticscholar.org/ddcd/e5d37cd66bdb6819e1795874462eaa85ffd7.pdfhttps://pdfs.semanticscholar.org/ddcd/e5d37cd66bdb6819e1795874462eaa85ffd7.pdfhttps://www.sciencedirect.com/science/article/pii/S1474667017553203https://www.sciencedirect.com/science/article/pii/S1474667017553203https://web.archive.org/web/20081126125006/http:/www.darpa.mil/grandchallenge05/TechPapers/Stanford.pdfhttps://web.archive.org/web/20081126125006/http:/www.darpa.mil/grandchallenge05/TechPapers/Stanford.pdfhttps://web.archive.org/web/20080924061244/http:/www.darpa.mil/grandchallenge05/https://web.archive.org/web/20080924061244/http:/www.darpa.mil/grandchallenge05/https://www.theverge.com/2018/3/9/17100518/waymo-self-driving-truck-google-atlantahttps://www.theverge.com/2018/3/9/17100518/waymo-self-driving-truck-google-atlantahttps://www.technologyreview.com/s/612423/fords-self-driving-taxi-passengers-may-share-rides-with-packages-and-ads/https://www.technologyreview.com/s/612423/fords-self-driving-taxi-passengers-may-share-rides-with-packages-and-ads/

11

Faits marquants : recherche scientifique

2013 Laboratoire QuAIL (Google/NASA)

(5/5)

2005 Blue Brain Project (EPFL)

2013 Human Brain Project (EU)

- Reconstruction et simulation

du cerveau de mammifères

2014 souris (30 000 neurones)

2023 cerveau humain

- Projet phare de l'Union Européenne

800 chercheurs répartis dans 19 pays

coût total ~1.2 millards €

Neurosciences Calculateur quantique (quantum computer)

QuAIL IBM

07-201910-2019

2017/11 IBM 50 qubits

2018/01 Intel 49 qubits

2018/03 Google 72 qubits

2019 Google 53 qubits

2018

IA, optimisation combinatoire,

apprentissage automatique,

simulations en physique et chimie…

Google revendique trop

vite la suprématie

quantique 10-2019

(…) Google a une nouvelle fois

cédé à une opération de

communication.

https://www.epfl.ch/research/domains/bluebrainhttps://www.epfl.ch/research/domains/bluebrainhttps://actu.epfl.ch/news/le-blue-brain-project-publie-le-premier-atlas-du-4/https://actu.epfl.ch/news/le-blue-brain-project-publie-le-premier-atlas-du-4/https://fr.wikipedia.org/wiki/Blue_Brainhttps://fr.wikipedia.org/wiki/Blue_Brainhttps://fr.wikipedia.org/wiki/Human_Brain_Projecthttps://fr.wikipedia.org/wiki/Human_Brain_Projecthttps://ti.arc.nasa.gov/tech/dash/groups/quail/https://ti.arc.nasa.gov/tech/dash/groups/quail/https://www.digimind-evolution.com/core/bettertogether/manager/information/882899/view.do?f=FThttps://www.digimind-evolution.com/core/bettertogether/manager/information/882899/view.do?f=FThttps://fr.wikipedia.org/wiki/Supr%C3%A9matie_quantiquehttps://fr.wikipedia.org/wiki/Supr%C3%A9matie_quantiquehttps://www.nature.com/articles/d41586-019-03168-1https://www.nature.com/articles/d41586-019-03168-1https://www.technologyreview.com/s/610250/serious-quantum-computers-are-finally-here-what-are-we-going-to-do-with-them/https://www.technologyreview.com/s/610250/serious-quantum-computers-are-finally-here-what-are-we-going-to-do-with-them/https://www.oezratty.net/wordpress/2019/interpreter-suprematie-quantique-google/https://www.oezratty.net/wordpress/2019/interpreter-suprematie-quantique-google/https://www.ibm.com/blogs/research/2019/10/on-quantum-supremacyhttps://www.ibm.com/blogs/research/2019/10/on-quantum-supremacyhttps://www.forbes.com/sites/startswithabang/2019/09/27/has-google-actually-achieved-quantum-supremacy-with-its-new-quantum-computer/#41374bc44d45https://www.forbes.com/sites/startswithabang/2019/09/27/has-google-actually-achieved-quantum-supremacy-with-its-new-quantum-computer/#41374bc44d45https://www.lemondeinformatique.fr/actualites/lire-google-revendique-trop-vite-la-suprematie-quantique-76894.htmlhttps://www.lemondeinformatique.fr/actualites/lire-google-revendique-trop-vite-la-suprematie-quantique-76894.html

12

2015 "Lettre ouverte sur l'intelligence artificielle" (2015)

signée par Stephen Hawking, Elon Musk, Bill Gates et plus de 150 chercheurs

2018 "Ethically aligned design v.2: a vision for prioritizing human well-being with autonomous and intelligent systems" (IEEE)

2018-05 Application du "Règlement général sur la protection des données (GDPR)" de l'UE

Une évolution rapide qui suscite espoirs et craintes

« … Et de nouveaux métiers vont apparaître grâce à des formations hybrides,

qui intègrent le numérique, et qui doivent se dérouler tout au long de la vie. »

Jean-Gabriel Ganascia (enseignant et chercheur)

2018

2018

- Dossier de presse (2018-11)

- Rapport de Cédric Villani (2018-03)Stratégie nationale de recherche en IA :

- la destruction massive d'emplois

- l'hégémonie américaine et chinoise, celle des GAFA

- l'opacité des traitements en apprentissage profond

(phénomène de la boîte noire)

- la question de la responsabilité en cas d'accident

- les risques accrus de piratage

- les risque environnementaux

- les risques de manipulation

- la dégradation des conditions de travail

- la baisse des activités physiques humaines

- une menace pour la démocratie

et les libertés individuelles

- la répartition inégale des gains engendrés par l'IA

- le développement d'armes autonomes

(lethal autonomous weapons systems, LAWS)

- etc…

Craintes

Ethique et IA

https://hellofuture.orange.com/fr/grand-format/intelligence-artificielle-entre-espoirs-et-dangers-pour-homme/https://hellofuture.orange.com/fr/grand-format/intelligence-artificielle-entre-espoirs-et-dangers-pour-homme/https://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-electionhttps://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-electionhttps://jair.org/index.php/jair/article/download/11222/26431https://jair.org/index.php/jair/article/download/11222/26431https://theintercept.com/2018/09/06/nypd-surveillance-camera-skin-tone-search/https://theintercept.com/2018/09/06/nypd-surveillance-camera-skin-tone-search/https://www.aiforhumanity.fr/pdfs/9782111457089_Rapport_Villani_accessible.pdfhttps://www.aiforhumanity.fr/pdfs/9782111457089_Rapport_Villani_accessible.pdfhttp://cache.media.enseignementsup-recherche.gouv.fr/file/strategie_IA/60/7/mesri_IA_dep_A4_09_1040607.pdfhttp://cache.media.enseignementsup-recherche.gouv.fr/file/strategie_IA/60/7/mesri_IA_dep_A4_09_1040607.pdfhttps://www.aiforhumanity.fr/pdfs/MissionVillani_Synthese_FR.pdfhttps://www.aiforhumanity.fr/pdfs/MissionVillani_Synthese_FR.pdfhttps://www.techniques-ingenieur.fr/actualite/articles/lia-au-coeur-de-la-reindustrialisation-francaise-54338/https://www.techniques-ingenieur.fr/actualite/articles/lia-au-coeur-de-la-reindustrialisation-francaise-54338/https://www.techniques-ingenieur.fr/actualite/articles/programme-intelligence-artificielle-france-60083/https://www.techniques-ingenieur.fr/actualite/articles/programme-intelligence-artificielle-france-60083/https://jair.org/index.php/jair/article/download/11222/26431https://jair.org/index.php/jair/article/download/11222/26431https://www.techrepublic.com/article/ai-is-destroying-more-jobs-than-it-creates-what-it-means-and-how-we-can-stop-it/https://www.techrepublic.com/article/ai-is-destroying-more-jobs-than-it-creates-what-it-means-and-how-we-can-stop-it/https://www.technologyreview.com/s/610298/tech-companies-should-stop-pretending-ai-wont-destroy-jobs/https://www.technologyreview.com/s/610298/tech-companies-should-stop-pretending-ai-wont-destroy-jobs/https://www.technologyreview.com/s/611832/future-elections-may-be-swayed-by-intelligent-weaponized-chatbots/https://www.technologyreview.com/s/611832/future-elections-may-be-swayed-by-intelligent-weaponized-chatbots/https://www.technologyreview.com/s/608036/we-need-to-talk-about-the-power-of-ai-to-manipulate-humans/https://www.technologyreview.com/s/608036/we-need-to-talk-about-the-power-of-ai-to-manipulate-humans/https://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-electionhttps://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-electionhttps://futureoflife.org/lethal-autonomous-weapons-pledge/https://futureoflife.org/lethal-autonomous-weapons-pledge/https://autonomousweapons.org/https://autonomousweapons.org/https://www.techniques-ingenieur.fr/actualite/articles/quest-ce-que-notre-relation-a-lintelligence-artificielle-dit-de-nous-65156/https://www.techniques-ingenieur.fr/actualite/articles/quest-ce-que-notre-relation-a-lintelligence-artificielle-dit-de-nous-65156/https://fr.wikipedia.org/wiki/Lettre_ouverte_sur_l'intelligence_artificiellehttps://fr.wikipedia.org/wiki/Lettre_ouverte_sur_l'intelligence_artificiellehttps://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:32016R0679&from=FRhttps://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:32016R0679&from=FRhttps://futureoflife.org/data/documents/research_priorities.pdfhttps://futureoflife.org/data/documents/research_priorities.pdfhttp://standards.ieee.org/develop/indconn/ec/ead_v2.pdfhttp://standards.ieee.org/develop/indconn/ec/ead_v2.pdfhttps://fr.wikipedia.org/wiki/%C3%89thique_de_l'intelligence_artificiellehttps://fr.wikipedia.org/wiki/%C3%89thique_de_l'intelligence_artificiellehttps://www.techniques-ingenieur.fr/actualite/articles/bill-gates-se-mefie-de-lintelligence-artificielle-11464https://www.techniques-ingenieur.fr/actualite/articles/bill-gates-se-mefie-de-lintelligence-artificielle-11464https://www.techniques-ingenieur.fr/actualite/articles/geant-web-investissement-ethique-ia-41689/https://www.techniques-ingenieur.fr/actualite/articles/geant-web-investissement-ethique-ia-41689/

13

1 Vision par ordinateur

14

Vision par ordinateur (computer vision)

= ensemble des techniques permettant à une machine d'analyser, traiter et comprendre une scène prise par une caméra.

Reconnaissance visuelle (visual recognition)

- classification d'images

- détection, reconnaissance d'objets (object recognition), segmentation

- segmentation sémantique, segmentation d'instances

- identification

- recherche d'image par le contenu (content-based image retrieval)

Reconstruction de scène (scene reconstruction)

seuillage détection de contours Traitement et analyse d’images (image processing and analysis)

- filtrage (filtering)

- seuillage (thresholding)

- transformations affines (affine transformations)

- détection de contours (edge detection), de coins (corners),

de points ou de régions d'intérêt (feature detection) etc…

Cas particuliers : reconnaissance…

- optique de caractères (ROC, optical character recognition, OCR)

- de codes (codes-barres, code QR)

- de mots

- de l’écriture manuscrite (handwriting recognition, HWR)

- d'empreintes (fingerprint recognition)

- d'iris (iris recognition)

- de visage (facial recognition)

- de l’expression faciale, des émotions

- de formes (pattern recognition)

Analyse du mouvement (motion analysis)

- suivi (tracking) d'objets ou de points d'intérêt

- flux optique (optical flow)

- reconnaissance de gestes (gesture recognition)

Distinctions : - analyse d'images / vision

- classification / détection

détection

cat dogcat dog

segmentation

Oscar

Molly

identification

cat cat

classification classification + localisation

segmentation sémantique

https://www.quora.com/What-is-the-difference-between-image-processing-and-computer-visionhttps://www.quora.com/What-is-the-difference-between-image-processing-and-computer-visionhttps://www.clarifai.com/blog/classification-vs-detection-vs-segmentation-models-the-differences-between-them-and-how-each-impact-your-resultshttps://www.clarifai.com/blog/classification-vs-detection-vs-segmentation-models-the-differences-between-them-and-how-each-impact-your-resultshttps://hackernoon.com/micro-learnings-image-classification-vs-object-detection-the-difference-77110b592343https://hackernoon.com/micro-learnings-image-classification-vs-object-detection-the-difference-77110b592343https://www.learnopencv.com/faster-r-cnn-object-detection-with-pytorch/https://www.learnopencv.com/faster-r-cnn-object-detection-with-pytorch/

15

Vision par ordinateur

- Vente au détail, sécurité dans les magasins

- Automobile

- Santé

- Agriculture

- Banque

- Industrie

Domaines d'application courants

Un regain d'intérêt récent

2017

https://emerj.com/ai-sector-overviews/computer-vision-applications-shopping-driving-and-more/https://emerj.com/ai-sector-overviews/computer-vision-applications-shopping-driving-and-more/https://perfectial.com/blog/computer-vision-applications/https://perfectial.com/blog/computer-vision-applications/https://www.deepomatic.com/blog/application-computer-vision/3993/https://www.deepomatic.com/blog/application-computer-vision/3993/https://indatalabs.com/blog/data-science/applications-computer-vision-across-industrieshttps://indatalabs.com/blog/data-science/applications-computer-vision-across-industrieshttps://www.iotforall.com/computer-vision-applications-in-daily-life/https://www.iotforall.com/computer-vision-applications-in-daily-life/https://indatalabs.com/blog/data-science/applications-computer-vision-across-industrieshttps://indatalabs.com/blog/data-science/applications-computer-vision-across-industries

16

Illustrations en Python

● Traitement élémentaires : traitement d’images, transformations géométriques, vidéo

● Visages : détection, analyse, repères faciaux

● Classification d’images, détection d’objets

ou

https://pjreddie.com/darknet/yolohttps://pjreddie.com/darknet/yolohttps://pjreddie.com/media/files/papers/YOLOv3.pdfhttps://pjreddie.com/media/files/papers/YOLOv3.pdfhttps://towardsdatascience.com/review-yolov3-you-only-look-once-object-detection-eab75d7a1ba6https://towardsdatascience.com/review-yolov3-you-only-look-once-object-detection-eab75d7a1ba6https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6bhttps://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6bhttps://pdfs.semanticscholar.org/9c5a/6eb00ae19a7037e5842990d58d9e8e357e4b.pdfhttps://pdfs.semanticscholar.org/9c5a/6eb00ae19a7037e5842990d58d9e8e357e4b.pdfhttps://subscription.packtpub.com/book/application_development/9781785283932/1/ch01lvl1sec16/image-warpinghttps://subscription.packtpub.com/book/application_development/9781785283932/1/ch01lvl1sec16/image-warpinghttps://scikit-image.org/docs/stable/auto_examples/transform/plot_swirl.htmlhttps://scikit-image.org/docs/stable/auto_examples/transform/plot_swirl.htmlhttps://pymotion.com/detecter-facial-landmarkshttps://pymotion.com/detecter-facial-landmarkshttp://www.nada.kth.se/~sullivan/Papers/Kazemi_cvpr14.pdfhttp://www.nada.kth.se/~sullivan/Papers/Kazemi_cvpr14.pdfhttps://pytorch.org/hub/pytorch_vision_alexnethttps://pytorch.org/hub/pytorch_vision_alexnethttps://www.learnopencv.com/pytorch-for-beginners-image-classification-using-pre-trained-models/https://www.learnopencv.com/pytorch-for-beginners-image-classification-using-pre-trained-models/https://www.pyimagesearch.com/2017/08/21/deep-learning-with-opencv/https://www.pyimagesearch.com/2017/08/21/deep-learning-with-opencv/https://docs.opencv.org/3.4.9/d5/de7/tutorial_dnn_googlenet.htmlhttps://docs.opencv.org/3.4.9/d5/de7/tutorial_dnn_googlenet.htmlhttps://talhassner.github.io/home/publication/2015_CVPRhttps://talhassner.github.io/home/publication/2015_CVPRhttps://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdfhttps://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdfhttps://www.pyimagesearch.com/2018/02/26/face-detection-with-opencv-and-deep-learning/https://www.pyimagesearch.com/2018/02/26/face-detection-with-opencv-and-deep-learning/

17

2 Optimisation combinatoire

18

Optimisation (optimization)

Fonction à valeurs réelles : 𝑓: 𝐴 → ℝ (ℝ : nombres réels)

Optimiser 𝑓 = trouver la ou les valeurs dans 𝐴 (les solutions)qui minimisent la valeur de 𝑓.

L'optimisation en général (en simplifiant…)

Notes :

- Le problème de maximisation est équivalent

(revient à minimiser la fonction −𝑓)

- Pas de solution si 𝑓 non borné

Exemples

𝑓(𝑥)

𝑥

Difficulté classique : le minimum local

𝑓(𝑥)

𝑥

𝐴 ⊂ ℝ

𝐴

minimum de 𝑓sur l'ensemble 𝐴

𝑥𝑚

minimum

global

solution globale

cherchée

un minimum

local de 𝑓

𝑦

𝑥

𝑓(𝑥, 𝑦)

𝐴 ⊂ ℝ2

𝐴(𝑥𝑚 , 𝑦𝑚)les algorithmes ont souvent

tendance à ne fournir qu'une

solution optimisée localement

("piégés" dans une "cuvette")

19

Optimisation combinatoire (combinatorial optimization)

𝑓(𝑥)

𝑥𝐴

𝑥𝑚

le problème fait intervenir des valeurs discrètes

𝐴 : sous-ensemble de ℕ𝑝 ou de ℕ𝑝 𝑥 ℝ𝑞 (ℕ : entiers positifs)

𝑓(𝑥)

𝑥

𝑥𝑚

𝐴

𝐴 continu (et en général 𝑓 continu)

ensemble 𝐴 fini mais potentiellement très grand :

optimisation combinatoire

techniques mathématiques classiques

(calcul différentiel, …)

Exemples d'applications de l'optimisation combinatoire

trajectoires de machines-outilstournée de véhicules,

planification de routesconception et réalisation

de circuits imprimés

- réseaux mobiles UMTS

- trafic aérien

- plans de chargement des

cœurs de réacteurs nucléaires

- ordonnancement

- génétique

- cristallographie

- contrôle de robot

- etc…

cas discretcas continu

optimisation

20

Illustrations en Python

1 000 points

Le Problème du Voyageur de Commerce (PVC)Travelling Salesman Problem (TSP)

plus proche voisin nearest neighbours 20

plus proche voisin répétitif repetitive nearest neighbours 30

diviser pour régner divide-and-conquer 80

amélioration itérative 2-opt 2-opt iterative improvement 35

amélioration itérative 3-opt 3-opt iterative improvement 50

heuristique de Lin-Kernighan (1971) Lin-Kernighan heuristic (LKH)

escalade stochastique du premier choix stochastic first-choice hill climbing 30

recuit simulé simulated annealing 50

algorithme génétique genetic algorithm 90

optimisation par colonies de fourmis ant colony optimization

force brute brute force 20

exacts

approximatifs

Quelques algorithmes

stochastiques

10 points

181 440 chemins

t = 1 s

15 points

4.3 * 1010 chemins

t ~ 67 h

Explosion

combinatoire

nombre approximatif de

lignes de code en Pythondéterministes

http://akira.ruc.dk/~keld/research/LKHhttp://akira.ruc.dk/~keld/research/LKH

21

3 Apprentissage automatique

22

Apprentissage automatique (apprentissage statistique, machine learning)

= méthodes basées sur des approches statistiques pour donner aux ordinateurs la capacité d'apprendre

à partir de données puis d’accomplir des tâches sans être explicitement programmés pour chacune.

supervisé (supervised learning, SL)

non supervisé (unsupervised learning, UL)

semi-supervisé (partiellement supervisé, semi-supervised learning, SSL)

profond (deep learning, DL)

par renforcement (reinforcement learning, RL)

par transfert (transfer learning, TL)

apprentissage

2018

AlphaGo Zero, Alpha Zero (2017)

Apprendre un modèle de manière incrémentale, en fonction d'une récompense reçue pour

chacune des actions entreprises.

Appliquer des connaissances et des

compétences, apprises à partir de

tâches antérieures, sur de nouvelles

tâches ou domaines partageant des

similitudes.

réseaux de

neurones artificiels

https://datafloq.com/read/machine-learning-explained-understanding-learning/4478https://datafloq.com/read/machine-learning-explained-understanding-learning/4478https://medium.com/machine-learning-for-humans/why-machine-learning-matters-6164faf1df12https://medium.com/machine-learning-for-humans/why-machine-learning-matters-6164faf1df12https://www.technologyreview.com/s/603501/10-breakthrough-technologies-2017-reinforcement-learning/https://www.technologyreview.com/s/603501/10-breakthrough-technologies-2017-reinforcement-learning/

23

Principe général

1) Apprentissage

2) Prédiction

1) Préparation des données

2) Modélisation

Classification

de texte

Classification

d'image

Exemples

donnéescollecte, analyse, nettoyage, sélection, exploration,

visualisation, synthèse, transformation,organisation…

= travail d'un data scientist (scientifique des données, "expert en mégadonnées" )

modèle entraîné

résultat

nouvelles

données

observations= données pour

l'apprentissage

1 chien

2 chat3 auto

4 bateau

1 médecine

2 sport

3 politique4 science

vecteur

𝑥 𝑦 = 2

𝑥 𝑦= 3

Le premier ministre a

soumis les nouveaux

projets de loi aux

députés afin de…

premier ministre

soumettre nouveau

projet loi depute …

modèle (algorithmes)

paramètres

du modèle

entier(s)

ou réel(s)

extraction de

caractéristiquesvecteur

d'entiers ou de réelsprétraitement

𝑥 = (𝑥1, … , 𝑥𝑝) 𝑦

prédiction

https://www.developpez.com/actu/162383/Vous-ne-devez-plus-dire-data-scientist-mais-plutot-expert-en-megadonnees-d-apres-la-Commission-d-enrichissement-de-la-langue-francaise/https://www.developpez.com/actu/162383/Vous-ne-devez-plus-dire-data-scientist-mais-plutot-expert-en-megadonnees-d-apres-la-Commission-d-enrichissement-de-la-langue-francaise/

24

Apprentissage supervisé / non supervisé

entrée 𝑥 = (𝑥1, … , 𝑥𝑝) sortie 𝑦

Apprentissage supervisé Apprentissage non supervisé

Apprentissage semi-supervisé

Observations : un ensemble de données étiquetées et non étiquetées (étiquetage partiel)

Typiquement : un faible nombre de données étiquetées et un nombre important de données non étiquetées

données étiquetées :

𝑖 = 1, . . . , 𝑛 ∶ (𝑥1,𝑖 , … , 𝑥𝑝,𝑖) 𝑦𝑖

données non étiquetées :

𝑖 = 1, . . . , 𝑛 ∶ (𝑥1,𝑖 , … , 𝑥𝑝,𝑖)entrée

établir un modèle à partir de ces données

pour faire des prédictions partitionnement (regroupement, clustering)

déterminer la structure sous-jacente des données

pour les regrouper en classes

objectif

illustrations

régression

𝑦 : valeurs continuesclassification

𝑦 : valeurs discrètes

𝑝 = 2

3 classes

1 2 3

𝑦 = 1

𝑝 = 1 𝑝 = 2

25

Illustrations en Python

scikit-learn

● Régression

● Classification

● Partitionnement (clustering)

moindres carrés ordinaires

𝑦 = 𝑓 𝑥1, 𝑥2 : fonction polynomialede degré 2 (paraboloïde)

𝑦

𝑥1

𝑥2

machine à vecteurs de support

(SVM, noyau : rbf, gamma : 100)

classifieur : machine à vecteurs de support (noyau : rbf)

extraction de caractéristiques : HOG

prétraitement : correction d’inclinaison

base d’apprentissage : EMNIST (240000 chiffres)

Reconnaissance

de chiffres manuscrits

4 groupes

Partitionnement spectral

https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squareshttps://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squareshttps://scikit-learn.org/stable/modules/svm.htmlhttps://scikit-learn.org/stable/modules/svm.htmlhttps://www.nist.gov/itl/products-and-services/emnist-datasethttps://www.nist.gov/itl/products-and-services/emnist-datasethttps://docs.opencv.org/4.3.0/d1/d73/tutorial_introduction_to_svm.htmlhttps://docs.opencv.org/4.3.0/d1/d73/tutorial_introduction_to_svm.htmlhttps://www.learnopencv.com/histogram-of-oriented-gradients/https://www.learnopencv.com/histogram-of-oriented-gradients/https://docs.opencv.org/4.3.0/dd/d3b/tutorial_py_svm_opencv.htmlhttps://docs.opencv.org/4.3.0/dd/d3b/tutorial_py_svm_opencv.htmlhttps://scikit-learn.org/stable/modules/generated/sklearn.cluster.SpectralClustering.htmlhttps://scikit-learn.org/stable/modules/generated/sklearn.cluster.SpectralClustering.html

26

Apprentissage profond

27

Représentation simplifiée :

Neurones artificiels

𝑦 𝑥1, 𝑥2, … , 𝑥𝑝 = 𝜑

𝑖=1

𝑝

𝑎𝑖 𝑥𝑖 + 𝑏

entrées reliées à des sorties d'autres neurones (vecteur)

Neurone artificiel (neurone formel)

sortie reliée à des entrées d'autres neurones (scalaire)

Neurone biologique

synapse

axone

dendrites

- neurone : cellule nerveuse

- cerveau humain : ~ 100 milliards (1011) de neurones

- synapse : - zone de contact entre deux neurones

- transmet l'influx nerveux

- de 1 à plus de 100 000 par neurone

(en moyenne 10 000)poids (constantes)

En IA, beaucoup d'autres modèles de calcul

ont été introduits.

cellules cellule GRU

Le neurone artificiel est inspiré de la biologie,

mais le but n'est pas de reproduire la nature.

La modélisation d'un neurone réel relève d'autres

disciplines (neurosciences computationnelles)

que l'IA.

Modèles simples : - modèle de McCulloch et Pitts (MP neuron, 1943)

- Perceptron de Frank Rosenblatt (1957)

biais 𝑏(constante)

𝜑

fonction

d'activation

(fonction de

transfert)

𝜑: ℝ → ℝ

𝑎1

somme

𝑦

𝑎2

𝑎3

𝑎𝑝

𝑥1

𝑥2

𝑥3

𝑥𝑝

…

Représentation simplifiée

poids

cellule "produit scalaire" entrée

sortie

noyau cellulaire

𝑥

𝜑(𝑥)

etc…

sigmoïde

ReLU

échelon

signal

https://fr.wikipedia.org/wiki/Neuronehttps://fr.wikipedia.org/wiki/Neuronehttps://fr.wikipedia.org/wiki/Neurosciences_computationnelleshttps://fr.wikipedia.org/wiki/Neurosciences_computationnelleshttps://en.wikipedia.org/wiki/Biological_neuron_modelhttps://en.wikipedia.org/wiki/Biological_neuron_modelhttps://towardsdatascience.com/the-differences-between-artificial-and-biological-neural-networks-a8b46db828b7https://towardsdatascience.com/the-differences-between-artificial-and-biological-neural-networks-a8b46db828b7http://www.asimovinstitute.org/neural-network-zoo-prequel-cells-layers/http://www.asimovinstitute.org/neural-network-zoo-prequel-cells-layers/https://fr.wikipedia.org/wiki/Fonction_d'activationhttps://fr.wikipedia.org/wiki/Fonction_d'activation

28

Un apprentissage délicat

apprendre = déterminer les paramètres (poids 𝑎𝑖 des connexions, biais 𝑏) à partir d'observations

(RN, RNA, ANN: Artificial Neural Network)

= graphe valué orienté, constitué d’un ensemble d’unités réalisant des calculs élémentaires (automates, cellules),

organisées en couches successives capables d’échanger des informations au moyen de connexions qui les relient.

Réseaux de neurones artificiels (ANN)

- réseau de neurones à propagation avant (feed forward neural network)

- perceptron mono-couche (SLP: single-layer perceptron)

- perceptron multicouches (PMC, MLP: Multi-Layer Perceptron)

- réseau neuronal convolutif (CNN: Convolutional Neural Network)

- réseau de neurones récurrents (RNN: Recurrent Neural Network)

- réseau de neurones à mémoire court-terme et long terme

(LSTM: Long Short Term Memory)

- DNN: Deep Neural Networks, réseaux de neurones profonds

= réseaux avec couches de neurones cachées (plus de 2)

- SNN: Shallow Neural Networks, 1 ou 2 couches cachées

- DBN: Deep Belief Network, réseaux de croyance profonds

- RBM: Restricted Boltzmann Machine, machine restreinte de Boltzmann

De nombreuses variantes

"Utilisez des modèles supervisés non linéaires"

Nombreuses difficultés numériques évoquées : mauvais conditionnement des

dérivées, minimums locaux, instabilité du gradient, saturation des neurones, …

Perceptron monocouche

couche

d'entrée

couche

de sortie

……

𝑥1

𝑥2

𝑥𝑝

𝑦1

𝑦𝑞

capacités de calcul

très limitées

Perceptron multicouche

… ……

…

…

𝑥1

𝑥𝑝

couche

d'entréecouche

de sortie

𝑦1

𝑦𝑞

couches de

neurones cachés

= φ 𝑝𝑜𝑖𝑑𝑠 ∗ 𝑒𝑛𝑡𝑟é𝑒 + 𝑏𝑖𝑎𝑖𝑠

En théorie, un perceptron avec au moins une couche cachée

permet d'approcher toute fonction avec une précision quelconque

(fonction d'activation φ : quelconque, mais non polynomiale ).

𝑓: ℝ𝑝 → ℝ𝑞

𝑓 𝑥1, … , 𝑥𝑝 = 𝑦1, … , 𝑦𝑞≈

https://sebastianraschka.com/Articles/2015_singlelayer_neurons.htmlhttps://sebastianraschka.com/Articles/2015_singlelayer_neurons.htmlhttps://epat2014.sciencesconf.org/conference/epat2014/pages/EPAT_2014_ANN.pdfhttps://epat2014.sciencesconf.org/conference/epat2014/pages/EPAT_2014_ANN.pdfhttps://coopnet.sso.infra.ftgroup/Conference/MyConferences.aspxhttps:/machinelearningmastery.com/why-training-a-neural-network-is-hardhttps://coopnet.sso.infra.ftgroup/Conference/MyConferences.aspxhttps:/machinelearningmastery.com/why-training-a-neural-network-is-hardhttp://www.deeplearningbook.org/contents/optimization.htmlhttp://www.deeplearningbook.org/contents/optimization.htmlhttps://medium.com/@ODSC/classic-regularization-techniques-in-neural-networks-68bccee03764https://medium.com/@ODSC/classic-regularization-techniques-in-neural-networks-68bccee03764https://www.oreilly.com/ideas/the-hard-thing-about-deep-learninghttps://www.oreilly.com/ideas/the-hard-thing-about-deep-learninghttp://www.asimovinstitute.org/neural-network-zoo/http://www.asimovinstitute.org/neural-network-zoo/https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdfhttps://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdfhttps://www.quora.com/What-is-the-difference-between-deep-and-shallow-neural-networkshttps://www.quora.com/What-is-the-difference-between-deep-and-shallow-neural-networkshttps://towardsdatascience.com/shallow-neural-networks-23594aa97a5https://towardsdatascience.com/shallow-neural-networks-23594aa97a5http://datascienceassn.org/sites/default/files/Do Deep Nets Really Need to be Deep.pdfhttp://datascienceassn.org/sites/default/files/Do Deep Nets Really Need to be Deep.pdfhttps://openclassrooms.com/fr/courses/4470406-utilisez-des-modeles-supervises-non-lineaireshttps://openclassrooms.com/fr/courses/4470406-utilisez-des-modeles-supervises-non-lineaireshttp://www.cs.stir.ac.uk/courses/ITNP4B/lectures/kms/2-Perceptrons.pdfhttp://www.cs.stir.ac.uk/courses/ITNP4B/lectures/kms/2-Perceptrons.pdfhttps://fr.wikipedia.org/wiki/Perceptron_multicouchehttps://fr.wikipedia.org/wiki/Perceptron_multicouchehttps://archive.nyu.edu/bitstream/2451/14384/1/IS-91-26.pdfhttps://archive.nyu.edu/bitstream/2451/14384/1/IS-91-26.pdf

29

Fonctions d'activations

Techniques de régularisation

- dropout, noise injection

- elastic-net regularization

- intermediate loss function

- batch normalization

- residual learning dropout

Processeur graphiques GPU

(Graphics Processing Unit)

NVIDIA Titan RTX

Circuits intégrés spécifiques

(ASICs)

Google Edge TPU

(Tensor Processing Unit)

Circuits intégrés spécifiques

dans des centres de calcul

(cloud)

Google Cloud TPU v.3

FPGAs

Apprentissage profond (DL, DNN)

Les outils utilisés sont presque toujours des réseaux de neurones artificiels.

Leur concept n'est pas nouveau, mais seules des évolutions dans différents domaines ont permis les succès actuels de

l'apprentissage profond.

= un sous-domaine de l'apprentissage automatique où les traitements s'effectuent par couches.

Les couches successives correspondent à des représentations des données avec un niveau d'abstraction croissant.

Facteurs de succès de l'apprentissage profond

Progrès algorithmiques

Progrès matérielsDisponibilité de très grands volumes de données (big data)

ImageNet

- plus de 14 millions d'images

annotées à la main

- plus de 20 000 catégories

Wikipedia: list of datasets for machine-learning research

https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6https://coopnet.sso.infra.ftgroup/Conference/MyConferences.aspxhttps:/medium.com/@ODSC/classic-regularization-techniques-in-neural-networks-68bccee03764https://coopnet.sso.infra.ftgroup/Conference/MyConferences.aspxhttps:/medium.com/@ODSC/classic-regularization-techniques-in-neural-networks-68bccee03764https://papers.nips.cc/paper/7096-regularizing-deep-neural-networks-by-noise-its-interpretation-and-optimization.pdfhttps://papers.nips.cc/paper/7096-regularizing-deep-neural-networks-by-noise-its-interpretation-and-optimization.pdfhttp://www.deeplearningbook.org/contents/regularization.htmlhttp://www.deeplearningbook.org/contents/regularization.htmlhttps://cloud.google.com/tpuhttps://cloud.google.com/tpuhttps://www.tomshardware.com/reviews/nvidia-titan-rtx-deep-learning-gaming-tensor,5971-3.htmlhttps://www.tomshardware.com/reviews/nvidia-titan-rtx-deep-learning-gaming-tensor,5971-3.htmlhttps://rapids.ai/https://rapids.ai/https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/https://en.wikipedia.org/wiki/Tensor_processing_unithttps://en.wikipedia.org/wiki/Tensor_processing_unithttps://www.nextplatform.com/2017/03/21/can-fpgas-beat-gpus-accelerating-next-generation-deep-learninghttps://www.nextplatform.com/2017/03/21/can-fpgas-beat-gpus-accelerating-next-generation-deep-learninghttp://www.image-net.org/http://www.image-net.org/https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_researchhttps://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research

30

15

26

CNN : réseaux de neurones convolutifs

= l'un des modèles de réseau de neurones les plus importants en apprentissage automatique,

principalement utilisé en reconnaissance d'images

Le concept n'est pas récent (LeCun, 1989), mais de très bonnes performances obtenues récemment en reconnaissance d'images

(AlexNet, ILSVRC 2012) ont fortement relancé l'intérêt pour l'apprentissage automatique en particulier et l'IA en général.

réseau neuronal convolutif, réseau de neurones à convolution, CNN, ConvNet, Convolutional Neural Network

5human

AlexNet

AlexNet- 8 couches

- 60 millions de paramètres

- 6 jours de calcul avec 2 GPU en 2012

- classification en 50 lignes de code

top-5 error

Comparaisons biologiques :

camion

voiture

vélo

extraction de caractéristiques classification

perceptron multicouches

(MLP)

"Qu'est ce qu'un réseau de neurones convolutif (ou CNN) ?"

https://qz.com/1046350/the-quartz-guide-to-artificial-intelligence-what-is-it-why-is-it-important-and-should-we-be-afraid/https://qz.com/1046350/the-quartz-guide-to-artificial-intelligence-what-is-it-why-is-it-important-and-should-we-be-afraid/http://www.deeplearningbook.org/contents/convnets.htmlhttp://www.deeplearningbook.org/contents/convnets.htmlhttps://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53https://www.freecodecamp.org/news/an-intuitive-guide-to-convolutional-neural-networks-260c2de0a050/https://www.freecodecamp.org/news/an-intuitive-guide-to-convolutional-neural-networks-260c2de0a050/http://blog.christianperone.com/2015/08/convolutional-neural-networks-and-feature-extraction-with-python/http://blog.christianperone.com/2015/08/convolutional-neural-networks-and-feature-extraction-with-python/https://medium.com/coinmonks/paper-review-of-alexnet-caffenet-winner-in-ilsvrc-2012-image-classification-b93598314160https://medium.com/coinmonks/paper-review-of-alexnet-caffenet-winner-in-ilsvrc-2012-image-classification-b93598314160https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.pyhttps://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.pyhttps://neurdiness.wordpress.com/2018/05/17/deep-convolutional-neural-networks-as-models-of-the-visual-system-qa/https://neurdiness.wordpress.com/2018/05/17/deep-convolutional-neural-networks-as-models-of-the-visual-system-qa/https://www.nature.com/articles/srep27755https://www.nature.com/articles/srep27755http://www.jneurosci.org/content/jneuro/35/27/10005.full.pdfhttp://www.jneurosci.org/content/jneuro/35/27/10005.full.pdfhttps://www.mathworks.com/videos/introduction-to-deep-learning-what-are-convolutional-neural-networks--1489512765771.htmlhttps://www.mathworks.com/videos/introduction-to-deep-learning-what-are-convolutional-neural-networks--1489512765771.htmlhttps://openclassrooms.com/fr/courses/4470531-classez-et-segmentez-des-donnees-visuelles/5082166-quest-ce-quun-reseau-de-neurones-convolutif-ou-cnnhttps://openclassrooms.com/fr/courses/4470531-classez-et-segmentez-des-donnees-visuelles/5082166-quest-ce-quun-reseau-de-neurones-convolutif-ou-cnn

31

(1/7)DNN : exemples d'application

Contours 2015

approche classiqueCNN

Personnes, automobiles, vélos…

Repères faciaux 2018

Visages 2016Texte

Plaques d'immatriculation

Vision / Détection

Objets saillants 2016

https://arxiv.org/pdf/1504.06375.pdfhttps://arxiv.org/pdf/1504.06375.pdfhttps://software.intel.com/en-us/openvino-toolkit/documentation/pretrained-modelshttps://software.intel.com/en-us/openvino-toolkit/documentation/pretrained-modelshttps://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8239860https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8239860https://rfiap2018.ign.fr/sites/default/files/ARTICLES/RFIAP_2018/RFIAP_2018_Yan_A.pdfhttps://rfiap2018.ign.fr/sites/default/files/ARTICLES/RFIAP_2018/RFIAP_2018_Yan_A.pdfhttps://zpascal.net/cvpr2016/Qin_Joint_Training_of_CVPR_2016_paper.pdfhttps://zpascal.net/cvpr2016/Qin_Joint_Training_of_CVPR_2016_paper.pdfhttp://openaccess.thecvf.com/content_cvpr_2017/papers/Zhou_EAST_An_Efficient_CVPR_2017_paper.pdfhttp://openaccess.thecvf.com/content_cvpr_2017/papers/Zhou_EAST_An_Efficient_CVPR_2017_paper.pdfhttps://www.learnopencv.com/deep-learning-based-text-detection-using-opencv-c-python/https://www.learnopencv.com/deep-learning-based-text-detection-using-opencv-c-python/https://docs.openvinotoolkit.org/latest/_intel_models_license_plate_recognition_barrier_0001_description_license_plate_recognition_barrier_0001.htmlhttps://docs.openvinotoolkit.org/latest/_intel_models_license_plate_recognition_barrier_0001_description_license_plate_recognition_barrier_0001.htmlhttps://www.researchgate.net/publication/327099013_CNN-RNN_based_method_for_license_plate_recognitionhttps://www.researchgate.net/publication/327099013_CNN-RNN_based_method_for_license_plate_recognitionhttps://pdfs.semanticscholar.org/a61f/2fade92ded5368724a5dada143d57eb02c83.pdfhttps://pdfs.semanticscholar.org/a61f/2fade92ded5368724a5dada143d57eb02c83.pdfhttps://paperswithcode.com/task/object-detectionhttps://paperswithcode.com/task/object-detectionhttp://cs-people.bu.edu/jmzhang/SOD/CVPR16SOD_camera_ready.pdfhttp://cs-people.bu.edu/jmzhang/SOD/CVPR16SOD_camera_ready.pdfhttps://arxiv.org/pdf/1904.09146.pdfhttps://arxiv.org/pdf/1904.09146.pdf

32

(2/7)DNN : exemples d'application

0-2

4-6

8-12

15-20

25-32

38-43

48-53

60+

masculin

féminin

Estimation des émotions

colère

dégoût

peur

joie

neutre

tristesse

surprise

Estimation de sexe et d'âge

periphery

cytoplasm

endosome

vacuole

mitochondrion

nucleus

peroxisome

…

Localisation dans une cellule

de protéine avec marquage fluorescent

Biologie

Visages

Dents

Carrie

Kate

Jessica

Sophia

Emma

Charlotte

Nicole

Identification

Vision / Classification

pâtes

soupe aux fruits de mer

paëlla

wok

potée

salade niçoise

Automobile

Peugeot 207 à hayon

Coût de réparations

floral

short

dress

Vêtements, accessoires…

Mode, sécurité…

Armes

Alimentation

Ingrédients

Calories

Recette

Reconnaissance de la forme de la main

Compréhension de la langue des signes

Lecture labiale

https://talhassner.github.io/home/projects/cnn_emotions/LeviHassner_ICMI15.pdfhttps://talhassner.github.io/home/projects/cnn_emotions/LeviHassner_ICMI15.pdfhttps://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdfhttps://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdfhttp://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w23/Lapuschkin_Understanding_and_Comparing_ICCV_2017_paper.pdfhttp://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w23/Lapuschkin_Understanding_and_Comparing_ICCV_2017_paper.pdfhttp://www.eurecom.fr/fr/publication/4908/download/sec-publi-4908.pdfhttp://www.eurecom.fr/fr/publication/4908/download/sec-publi-4908.pdfhttp://openaccess.thecvf.com/content_cvpr_2017/papers/Chen_Using_Ranking-CNN_for_CVPR_2017_paper.pdfhttp://openaccess.thecvf.com/content_cvpr_2017/papers/Chen_Using_Ranking-CNN_for_CVPR_2017_paper.pdfhttps://www.biorxiv.org/content/biorxiv/early/2016/04/28/050757.full.pdfhttps://www.biorxiv.org/content/biorxiv/early/2016/04/28/050757.full.pdfhttps://juanzdev.github.io/TeethClassifier/https://juanzdev.github.io/TeethClassifier/https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3372193https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3372193https://paperswithcode.com/task/image-classificationhttps://paperswithcode.com/task/image-classificationhttps://arxiv.org/pdf/1506.08959.pdfhttps://arxiv.org/pdf/1506.08959.pdfhttps://docs.openvinotoolkit.org/latest/_intel_models_vehicle_attributes_recognition_barrier_0039_description_vehicle_attributes_recognition_barrier_0039.htmlhttps://docs.openvinotoolkit.org/latest/_intel_models_vehicle_attributes_recognition_barrier_0039_description_vehicle_attributes_recognition_barrier_0039.htmlhttps://www.ibm.com/case-studies/autoglass-bodyrepairhttps://www.ibm.com/case-studies/autoglass-bodyrepairhttps://towardsdatascience.com/the-4-convolutional-neural-network-models-that-can-classify-your-fashion-images-9fe7f3e5399dhttps://towardsdatascience.com/the-4-convolutional-neural-network-models-that-can-classify-your-fashion-images-9fe7f3e5399dhttps://docs.openvinotoolkit.org/latest/_intel_models_person_attributes_recognition_crossroad_0230_description_person_attributes_recognition_crossroad_0230.htmlhttps://docs.openvinotoolkit.org/latest/_intel_models_person_attributes_recognition_crossroad_0230_description_person_attributes_recognition_crossroad_0230.htmlhttps://drive.google.com/file/d/1bWFM0UkI1cim0CukC_XzeJc2CBUg7w1G/viewhttps://drive.google.com/file/d/1bWFM0UkI1cim0CukC_XzeJc2CBUg7w1G/viewhttp://cs231n.stanford.edu/reports/2017/pdfs/716.pdfhttp://cs231n.stanford.edu/reports/2017/pdfs/716.pdfhttps://towardsdatascience.com/this-ai-is-hungry-b2a8655528behttps://towardsdatascience.com/this-ai-is-hungry-b2a8655528behttps://nanonets.com/blog/multi-label-classification-using-deep-learning/https://nanonets.com/blog/multi-label-classification-using-deep-learning/https://github.com/Murgio/Food-Recipe-CNNhttps://github.com/Murgio/Food-Recipe-CNNhttp://images.nvidia.com/content/APAC/events/ai-conference/resource/ai-for-research/FoodAI-Food-Image-Recognition-with-Deep-Learning.pdfhttp://images.nvidia.com/content/APAC/events/ai-conference/resource/ai-for-research/FoodAI-Food-Image-Recognition-with-Deep-Learning.pdfhttps://www.ibm.com/blogs/cloud-archive/2017/05/watson-learns-see-food-introducing-watson-visual-recognition-food-model/https://www.ibm.com/blogs/cloud-archive/2017/05/watson-learns-see-food-introducing-watson-visual-recognition-food-model/https://developer.ibm.com/code/2017/10/20/analyze-captured-food-images-using-watson-visual-recognition/https://developer.ibm.com/code/2017/10/20/analyze-captured-food-images-using-watson-visual-recognition/https://www-i6.informatik.rwth-aachen.de/publications/download/1000/KollerOscarNeyHermannBowdenRichard--DeepHHowtoTrainaCNNon1MillionHImagesWhenYourDataIsContinuousWeaklyLabelled--2016.pdfhttps://www-i6.informatik.rwth-aachen.de/publications/download/1000/KollerOscarNeyHermannBowdenRichard--DeepHHowtoTrainaCNNon1MillionHImagesWhenYourDataIsContinuousWeaklyLabelled--2016.pdfhttps://arxiv.org/pdf/1611.01599.pdfhttps://arxiv.org/pdf/1611.01599.pdf

33

(3/7)DNN : exemples d'application

Observation de la terre

Segmentation sémantique 2016

Segmentation du foie et de ses lésions 2016

Imagerie médicale

Vision / Segmentation sémantique

Paysage routier

Véhicules autonome

What vegetable is the

dog chewing on?

What kind of dog is this?

What kind of flooring

does the room have?

carrot

husky

carpet

Réponse à des questions visuelles 2016

(VQA, visual question answering),

ancrage visuel (visual grounding)

"A cat is playing with a toy"

"A kitten and a ferret are

playfully wrestling."

Description de vidéo en langage naturel 2015

(video to text)

Vision et

traitement automatique de la langue naturelle

https://arxiv.org/pdf/1609.06846.pdfhttps://arxiv.org/pdf/1609.06846.pdfhttps://arxiv.org/pdf/1610.02177.pdfhttps://arxiv.org/pdf/1610.02177.pdfhttps://talhassner.github.io/home/publication/2018_MICCAIwhttps://talhassner.github.io/home/publication/2018_MICCAIwhttps://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdfhttps://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdfhttps://arxiv.org/pdf/1506.04579.pdfhttps://arxiv.org/pdf/1506.04579.pdfhttp://mi.eng.cam.ac.uk/projects/segnet/http://mi.eng.cam.ac.uk/projects/segnet/https://arxiv.org/pdf/1506.03648.pdfhttps://arxiv.org/pdf/1506.03648.pdfhttp://docs.openvinotoolkit.org/latest/usergroup4.htmlhttp://docs.openvinotoolkit.org/latest/usergroup4.htmlhttps://arxiv.org/pdf/1606.01847.pdfhttps://arxiv.org/pdf/1606.01847.pdfhttp://www.cs.utexas.edu/users/ml/papers/venugopalan.naacl15.pdfhttp://www.cs.utexas.edu/users/ml/papers/venugopalan.naacl15.pdfhttp://www.cs.utexas.edu/users/ml/papers/venugopalan.iccv15.pdfhttp://www.cs.utexas.edu/users/ml/papers/venugopalan.iccv15.pdf

34

(4/7)DNN : exemples d'application

Synthèse d'expressionReconnaissance sous différents angles

Frontalisation 2015 Echange de visages 2017

Reconstruction 3-D

Vision / Modélisation 3-D

VisagesPose humaine

Main 2017

Détection de chutes

https://talhassner.github.io/home/projects/augmented_faces/Masietal_ECCV2016.pdfhttps://talhassner.github.io/home/projects/augmented_faces/Masietal_ECCV2016.pdfhttps://talhassner.github.io/home/projects/augmented_faces/Masietal_ECCV2016.pdfhttps://talhassner.github.io/home/projects/augmented_faces/Masietal_ECCV2016.pdfhttps://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Masi_Pose-Aware_Face_Recognition_CVPR_2016_paper.pdfhttps://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Masi_Pose-Aware_Face_Recognition_CVPR_2016_paper.pdfhttps://talhassner.github.io/home/projects/frontalize/CVPR2015_frontalize.pdfhttps://talhassner.github.io/home/projects/frontalize/CVPR2015_frontalize.pdfhttps://arxiv.org/pdf/1704.06729.pdfhttps://arxiv.org/pdf/1704.06729.pdfhttps://arxiv.org/pdf/1612.04904.pdfhttps://arxiv.org/pdf/1612.04904.pdfhttps://talhassner.github.io/home/publication/2019_IJCV_1https://talhassner.github.io/home/publication/2019_IJCV_1https://arxiv.org/pdf/1802.00542.pdfhttps://arxiv.org/pdf/1802.00542.pdfhttp://docs.openvinotoolkit.org/latest/_models_intel_human_pose_estimation_0001_description_human_pose_estimation_0001.htmlhttp://docs.openvinotoolkit.org/latest/_models_intel_human_pose_estimation_0001_description_human_pose_estimation_0001.htmlhttps://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739bhttps://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739bhttps://paperswithcode.com/task/pose-estimationhttps://paperswithcode.com/task/pose-estimationhttps://arxiv.org/pdf/1705.01389v3.pdfhttps://arxiv.org/pdf/1705.01389v3.pdf

35

(5/7)DNN : exemples d'application

Portraits : évolution historique des modes et des tendances 2019

1953

Recherche d'images proches 2015

1

2

3

4+

Quantification d'objets saillants 2015(salient object subitizing)

Vision / Divers

crossing

waiting

queuing

walking

talking

Génération d'images

Colorisation d'images 2016 Transfert de style 2015 2017

image de style image de contenu

Détection de l'activité d'un groupe de personnes

2015

https://arxiv.org/pdf/1511.02575.pdfhttps://arxiv.org/pdf/1511.02575.pdfhttps://www.iis.sinica.edu.tw/~kevinlin311.tw/cvprw15.pdfhttps://www.iis.sinica.edu.tw/~kevinlin311.tw/cvprw15.pdfhttp://cs-people.bu.edu/jmzhang/SOS/SOS_preprint.pdfhttp://cs-people.bu.edu/jmzhang/SOS/SOS_preprint.pdfhttps://richzhang.github.io/colorization/resources/colorful_eccv2016.pdfhttps://richzhang.github.io/colorization/resources/colorful_eccv2016.pdfhttps://www.learnopencv.com/convolutional-neural-network-based-image-colorization-using-opencv/https://www.learnopencv.com/convolutional-neural-network-based-image-colorization-using-opencv/https://towardsdatascience.com/a-neural-algorithm-of-artistic-style-a-modern-form-of-creation-d39a6ac7e715https://towardsdatascience.com/a-neural-algorithm-of-artistic-style-a-modern-form-of-creation-d39a6ac7e715https://arxiv.org/pdf/1508.06576.pdfhttps://arxiv.org/pdf/1508.06576.pdfhttps://arxiv.org/pdf/1610.07629.pdfhttps://arxiv.org/pdf/1610.07629.pdfhttps://www.cs.sfu.ca/~mori/research/papers/deng-bmvc15.pdfhttps://www.cs.sfu.ca/~mori/research/papers/deng-bmvc15.pdf

36

(6/7)DNN : exemples d'application

Génération d'émojis 2017

Génération d'images

2016

(…) The most important one, in my opinion, is adversarial training (also called GAN

for Generative Adversarial Networks). (…)

2014, Ian Goodfellow

2016

2019

VQ-VAE

(Vector Quantised-Variational AutoEncode)

2017

2019

DNN discriminateur

DNN générateur image de synthèsevecteur aléatoire

(variable latente)

images réelles mesure de réalisme Les GAN ont fait l'objet d'une quantité phénoménale

d'articles depuis leur apparition. Ils ont produit des

résultats spectaculaires, même s'ils sont très difficiles à

faire marcher. (Le Cun, 2019)

Cet article a fait l'effet d'une bombe.

Tout le monde s'est mis aux GAN !

(Le Cun, 2019)

GAN (Generative Adversarial Networks, réseaux génératifs antagonistes, réseaux génératifs adverses)

https://arxiv.org/pdf/1611.02200.pdfhttps://arxiv.org/pdf/1611.02200.pdfhttps://www.quora.com/What-are-some-recent-and-potentially-upcoming-breakthroughs-in-deep-learninghttps://www.quora.com/What-are-some-recent-and-potentially-upcoming-breakthroughs-in-deep-learninghttps://arxiv.org/pdf/1406.2661.pdfhttps://arxiv.org/pdf/1406.2661.pdfhttps://arxiv.org/pdf/1411.1784.pdfhttps://arxiv.org/pdf/1411.1784.pdfhttps://arxiv.org/pdf/1511.06434.pdfhttps://arxiv.org/pdf/1511.06434.pdfhttps://arxiv.org/pdf/1511.06434.pdfhttps://arxiv.org/pdf/1511.06434.pdfhttps://arxiv.org/pdf/1711.00937.pdfhttps://arxiv.org/pdf/1711.00937.pdfhttps://arxiv.org/pdf/1906.00446.pdfhttps://arxiv.org/pdf/1906.00446.pdfhttps://fr.wikipedia.org/wiki/R%C3%A9seaux_antagonistes_g%C3%A9n%C3%A9ratifshttps://fr.wikipedia.org/wiki/R%C3%A9seaux_antagonistes_g%C3%A9n%C3%A9ratifshttps://skymind.ai/wiki/generative-adversarial-network-ganhttps://skymind.ai/wiki/generative-adversarial-network-ganhttps://medium.com/@jonathan_hui/gan-why-it-is-so-hard-to-train-generative-advisory-networks-819a86b3750bhttps://medium.com/@jonathan_hui/gan-why-it-is-so-hard-to-train-generative-advisory-networks-819a86b3750bhttps://medium.com/datadriveninvestor/an-introduction-to-conditional-gans-cgans-727d1f5bb011https://medium.com/datadriveninvestor/an-introduction-to-conditional-gans-cgans-727d1f5bb011https://openclassrooms.com/fr/courses/5801891-initiez-vous-au-deep-learning/5814631-construisez-des-modeles-generatifs-grace-aux-reseaux-de-neuroneshttps://openclassrooms.com/fr/courses/5801891-initiez-vous-au-deep-learning/5814631-construisez-des-modeles-generatifs-grace-aux-reseaux-de-neurones

37

(7/7)DNN : exemples d'application

- Traitement automatique de la langue naturelle (NLP)

- Traduction automatique

- Génération automatique de textes

- Analyse de sentiment

- Audio

- Reconnaissance vocale

- Synthèse vocale

- Clonage vocal

- Sonorisation de vidéos

- Imitation de styles artistiques

(composition musicale)

- Génération d'images

- Ecriture manuscrite

- Photos à partir de croquis

- Augmentation de la résolution

- Visages avec lèvres synchronisées sur l'audio

- Robotique

- Planification de mouvements

- Navigation, véhicules autonomes

- Jeux

- de réflexion (AlphaGo)

- de stratégie (AlphaStar)

- d'action

- Banque, finance

- Prévisions fiancières

- Notation fiancière..

…

Et beaucoup d'autres encore…

- Browse state-of-the-art

- 30 amazing applications of deep learning

- 8 Inspirational applications of deep learning

- Awesome deep vision

- Are we there yet?

- Applications of neural networks

- What are the applications of neural networks?

- NNs for beginners: popular types and applications

- Real world applications of ANNs

- ANNs applications and algorithms

- ModelZoo

- 1D CNNs and applications - A survey

- Applications of CNNs

- A beginner's guide to GANs

Exemples de liens

Olivier Ezratty

"Les usages de l'I.A." (2019)

624 pages

Revue “Science & Vie”

(03/2020)

https://machinelearningmastery.com/inspirational-applications-deep-learning/https://machinelearningmastery.com/inspirational-applications-deep-learning/https://github.com/kjw0612/awesome-deep-visionhttps://github.com/kjw0612/awesome-deep-visionhttp://rodrigob.github.io/are_we_there_yet/build/http://rodrigob.github.io/are_we_there_yet/build/https://cs.stanford.edu/people/eroberts/courses/soco/projects/neural-networks/Applications/https://cs.stanford.edu/people/eroberts/courses/soco/projects/neural-networks/Applications/https://www.quora.com/What-are-the-applications-of-neural-networkshttps://www.quora.com/What-are-the-applications-of-neural-networkshttp://www.yaronhadad.com/deep-learning-most-amazing-applications/http://www.yaronhadad.com/deep-learning-most-amazing-applications/https://paperswithcode.com/sotahttps://paperswithcode.com/sotahttps://blog.statsbot.co/neural-networks-for-beginners-d99f2235efcahttps://blog.statsbot.co/neural-networks-for-beginners-d99f2235efcahttps://medium.com/@jayeshbahire/real-world-applications-of-artificial-neural-networks-a6a6bc17ad6ahttps://medium.com/@jayeshbahire/real-world-applications-of-artificial-neural-networks-a6a6bc17ad6ahttps://www.xenonstack.com/blog/artificial-neural-network-applications/https://www.xenonstack.com/blog/artificial-neural-network-applications/https://modelzoo.co/categorieshttps://modelzoo.co/categorieshttps://arxiv.org/ftp/arxiv/papers/1905/1905.03554.pdfhttps://arxiv.org/ftp/arxiv/papers/1905/1905.03554.pdfhttps://ijcsit.com/docs/Volume 7/vol7issue5/ijcsit20160705014.pdfhttps://ijcsit.com/docs/Volume 7/vol7issue5/ijcsit20160705014.pdfhttps://skymind.ai/wiki/generative-adversarial-network-ganhttps://skymind.ai/wiki/generative-adversarial-network-ganhttps://www.oezratty.net/wordpress/2019/usages-intelligence-artificielle-2019/https://www.oezratty.net/wordpress/2019/usages-intelligence-artificielle-2019/

38

DNN : plus efficaces, comment, pourquoi ?

Andrew Ng

Les DNNs permettent de mieux tirer profit de

grandes quantités de données d'apprentissage.

1 chien

2 chat3 auto

4 bateau

1 chien

2 chat3 auto

4 bateau

Importance de la profondeur du réseau

"Do deep nets really need to be deep?" (2014)

Importance du volume des données d'apprentissage

Variantes

Les raison théoriques de l'efficacité des DNNs semblent complexes et sont encore mal connues. (2014)

DNN

extraction de caractéristiques

et classification

Avec les DNNs, les traitement sont plus adaptés et mieux intégrés (end-to-end learning model).

Approche classique

extraction de

caractéristiques

classification

https://www.researchgate.net/publication/333910044_Wireless_Networks_Design_in_the_Era_of_Deep_Learning_Model-Based_AI-Based_or_Bothhttps://www.researchgate.net/publication/333910044_Wireless_Networks_Design_in_the_Era_of_Deep_Learning_Model-Based_AI-Based_or_Bothhttp://cs229.stanford.edu/materials/CS229-DeepLearning.pdfhttp://cs229.stanford.edu/materials/CS229-DeepLearning.pdfhttps://www.deeplearning.ai/content/uploads/2018/09/Ng-MLY01-12.pdfhttps://www.deeplearning.ai/content/uploads/2018/09/Ng-MLY01-12.pdfhttps://media.nips.cc/Conferences/2016/Slides/6203-Slides.pdfhttps://media.nips.cc/Conferences/2016/Slides/6203-Slides.pdfhttps://blog.easysol.net/building-ai-applications/https://blog.easysol.net/building-ai-applications/https://medium.com/@rishavsapahia/10-min-recap-for-andrew-ngs-deep-learning-specialization-course-1-3fdae3c85853https://medium.com/@rishavsapahia/10-min-recap-for-andrew-ngs-deep-learning-specialization-course-1-3fdae3c85853https://arxiv.org/pdf/1312.6184.pdfhttps://arxiv.org/pdf/1312.6184.pdfhttps://hackernoon.com/%EF%B8%8F-big-challenge-in-deep-learning-training-data-31a88b97b282https://hackernoon.com/%EF%B8%8F-big-challenge-in-deep-learning-training-data-31a88b97b282https://datascience.stackexchange.com/questions/45774/where-does-the-deep-learning-needs-big-data-rule-come-from?noredirect=1&lq=1https://datascience.stackexchange.com/questions/45774/where-does-the-deep-learning-needs-big-data-rule-come-from?noredirect=1&lq=1https://arxiv.org/pdf/1410.3831.pdfhttps://arxiv.org/pdf/1410.3831.pdfhttps://stats.stackexchange.com/questions/218961/how-to-understand-end-to-end-in-deep-learninghttps://stats.stackexchange.com/questions/218961/how-to-understand-end-to-end-in-deep-learning

39

Pour en savoir plus…

16/10/2019

40

4 Traitement automatique du langage naturel

41

Traitement automatique du langage naturel (TALN, NLP)

= ensemble des techniques visant à modéliser et à reproduire, à l’aide de machines, la capacité humaine à produire

et à comprendre des énoncés linguistiques dans des buts de communication.

Syntaxe (syntax)- tokenization,

délimitation de la phrase (sentence breaking),

séparation des mots (word segmentation)

- lemmatisation (lemmatisation, lemmatization)

- racinisation (désuffixation, stemming)

- étiquetage morpho-syntaxique

(part-of-speech tagging, PoS tagging, POST)

- segmentation morphologique (morphological segmentation)

- analyse syntaxique (parsing)

- extraction terminologique (terminology extraction)

Sémantique (semantics)- traduction automatique (machine translation, MT)

- génération automatique de textes (GAT, natural language generation, NLG)

- résumé automatique de texte (automatic summarization),

reformulation et paraphrasage

- désambiguïsation lexicale (word-sense disambiguation)

- correction orthographique (spell checking)

- compréhension du langage naturel (interprétation du langage naturel,

natural language understanding, NLU, natural-language interpretation, NLI)

- agents conversationnels

(assistant virtuel, chatbot, chatterbot, bot, interactive agent),

systèmes de questions-réponses (question answering, QA)

- détection de coréférences (coreference detection),

résolution d'anaphores (anaphora resolution)

Extraction d'informations (information extraction, IE)- fouille de textes (text mining)

- recherche d'information (RI, information retrieval, IR)

- moteur de recherche (web search engine)

- reconnaissance d'entités nommées (named-entity recognition, NER)

- classification de documents (catégorisation de documents,

document classification, document classification)

- systèmes de tutorat intelligents (intelligent tutoring systems)

- analyse de sentiment (opinion mining, sentiment analysis)

- recommandation automatique de documents

(recommender system, recommendation system)

traitement automatique de la langue naturelle, traitement automatique des langues (TAL),

Natural Language Processing (NLP)

Traitement du signal (signal processing) - graphie

- reconnaissance de l'écriture manuscrite

(handwriting recognition, HWR)

- reconnaissance optique de caractères

(ROC, optical character recognition, OCR)

- lecture automatique de document (LAD)

- traitement de la parole (speech processing)

- reconnaissance automatique de la parole

(speech recognition, automatic speech recognition,

ASR, speech to text, STT)

- synthèse vocale

(speech synthesis, text-to-speech, TTS)

- reconnaissance du locuteur (speaker recognition)

- détection des langues et des dialectes

(language and dialect identification)

source : Wikipedia

https://fr.wikipedia.org/wiki/Traitement_automatique_du_langage_naturelhttps://fr.wikipedia.org/wiki/Traitement_automatique_du_langage_naturel

42

Illustrations en Python

scikit-learn

● Traitement élémentaires : tokénisation, fonction grammaticale des mots, lemmatisation

● Analyse de sentiment

nombre d’occurrences des verbes dans un texte

Barack Obama’s Speech on Race

Philadelphia, Pennsylvania

March 18, 2008

“We the people, in order to form a more perfect union. ”Two hundred and twenty one years

ago, in a hall that still stands across the street, a group of men gathered and, with these

simple words, launched America’s improbable experiment in democracy. Farmers and

scholars; statesmen and patriots who had traveled across an ocean to escape tyranny and

persecution finally made real their declaration of independence at a Philadelphia convention

that lasted through the spring of 1787.The document they produced was eventually signed

but ultimately unfinished. It was stained by this nation’s original sin of slavery, a question

that divided the colonies and brought the convention to a stalemate until the founders chose

to allow the slave trade to continue for at least twenty more years, and to leave any final

resolution to future generations. Of course, the answer to the slavery question was already

embedded within our Constitution – a Constitution that had at its very core the ideal of equal

citizenship under the law; a Constitution that promised its people liberty, and justice, and a

union that could be and should be perfected over time.

…

40 lignes de code

verbatims de clients

60 lignes de code

- Modèle du sac de mots

- Matrice documents-termes binaire

- Classifieur naïf de Bayes (MNB)

- Validation croisée :

80% → apprentissage

20% → test

mesure moyenne

de justesse→

43

Conclusion

44

L'Intelligence Artificielle…

- domaine d'étude étendu, aux contours flous

- à la croisée de nombreuses disciplines

- très nombreux outils et algorithmes

- nombreuses applications

Un vaste sujet

- par définition : « …résoudre des problèmes qui sont

aujourd’hui l’apanage de l’intelligence humaine. »

- des résultats parfois déroutants, difficiles à interpréter

- une fiabilité incertaine

- des algorithmes sophistiqués,

développés par des spécialistes

- beaucoup de mathématiques (probabilités, …)

Un sujet complexe

- pour la programmation :

- l'importance des librairies, des APIs

- Python : un bon langage pour assembler

des briques logicielles (“glue” language)

Un sujet à la mode

https://futurism.com/artificial-intelligence-hypehttps://futurism.com/artificial-intelligence-hype

45

L'Intelligence Artificielle…

Un sujet prometteur (parfois trop ?)

Un sujet en pleine accélération ?

- progrès matériels

- progrès algorithmiques

- explosion des données

- effet cumulatif des

nouvelles technologies

- …

2016

Venture Funding for AI Startups

2018

2018

2016

http://reports.weforum.org/digital-transformation/wp-content/blogs.dir/94/mp/files/pages/files/wef-digital-transformation-2016-exec-summary.pdfhttp://reports.weforum.org/digital-transformation/wp-content/blogs.dir/94/mp/files/pages/files/wef-digital-transformation-2016-exec-summary.pdfhttps://www.theverge.com/2018/12/12/18136929/artificial-intelligence-ai-index-report-2018-machine-learning-global-progress-researchhttps://www.theverge.com/2018/12/12/18136929/artificial-intelligence-ai-index-report-2018-machine-learning-global-progress-researchhttps://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.htmlhttps://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.htmlhttps://www.kdnuggets.com/2018/02/current-hype-cycle-artificial-intelligence.htmlhttps://www.kdnuggets.com/2018/02/current-hype-cycle-artificial-intelligence.htmlhttps://www.objectstyle.com/machine-learning/artificial-intelligence-discussion-do-we-expect-too-muchhttps://www.objectstyle.com/machine-learning/artificial-intelligence-discussion-do-we-expect-too-muchhttps://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/https://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/https://www.alexirpan.com/2018/02/14/rl-hard.htmlhttps://www.alexirpan.com/2018/02/14/rl-hard.htmlhttps://mattermark.com/blood-sweat-years-raising-money-deep-learning-startup/https://mattermark.com/blood-sweat-years-raising-money-deep-learning-startup/

46

merci