Reconnaissance d'image et fonctionnement d'une IA (1) publié le 24/03/2022  - mis à jour le 16/06/2022

Sommaire des TraAms "Intelligence Artificielle"

Caractéristiques du scénario

Thématique

Reconnaissance d’images et apprentissage machine
Ce scénario est découpé en deux parties indépendantes dont voici le descriptif du premier.
Vous trouverez donc la suite dans le scénario suivant :
 Reconnaissance d’image et fonctionnement d’une IA (2).

Niveau concerné

Classe de Seconde

Problématique

La reconnaissance d’images s’invite dans de nombreux domaines : les lieux, les logos, les personnes, les objets, les bâtiments. Il convient de s’interroger sur la manière dont sont traitées ces images.
L’enjeu est d’importance : elle intervient dans l’information ou la désinformation, elle s’utilise pour promouvoir des entreprises, elle s’applique dans des domaines de sécurité avec la reconnaissance faciale.
Cette activité a pour objectif de présenter aux élèves une première approche afin de faire comprendre comment une machine peut analyser une image.

Contenu

• La géométrie repérée (longueur d’un segment...)
• Les équations de droites, programmation en Python

Nombre d’heures utilisées

6 heures

Outils et ressources

 teachablemachine : Un moyen rapide et simple de créer des modèles de machine learning pour vos sites, applis et plus encore
 Thonny : Logiciel Python

Démarche de l’enseignant

L’idée est sur des configurations géométriques simples de montrer les limites de l’IA faible (voir article article introduction des TraAms) afin de présenter une première approche de l’apprentissage machine aux élèves.
Au détour des configurations simples, l’enseignant peut donc institutionnaliser les contenus de seconde sur la géométrie repérée ainsi que les équations réduites de droite.

Déroulement du scénario

J’ai commencé par demander aux élèves quels sont les termes qu’ils associent à l’intelligence, voici leur retour : "programme, algorithme, automatisation, apprentissage". La qualité de leur réponse témoigne déjà de leur intérêt pour ce sujet.
La première phase consiste à engager les élèves dans la thématique de l’intelligence artificielle. Ce temps s’est déroulé lors d’une séance à distance. J’ai choisi de mettre par groupe les élèves dans des ateliers virtuels (chaque groupe a donc construit un lien visio) avec l’appui d’un diaporama collaboratif, voici leur production :

Braimstorming IA et mots clés (PDF de 309.6 ko)

Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

Cela s’est prolongé avec une mise en scène autour de teachablemachine qui a permis de proposer une première approche de l’apprentissage machine et de ses limites.
Les élèves ont donc sélectionné un objet de leur choix et ont mutualisé l’ensemble de leurs photos dans un dossier collaboratif. Ils ont donc pu pratiquer et surtout constater l’imprécision de la reconnaissance après la phase d’entrainement.

Après cette introduction, nous avons abordé l’étude 1. J’ai donc questionné les élèves sur les questions que l’on peut se poser pour proposer une stratégie.
Voici les points qui ont émergé :

• Comment traiter une image ?
• On peut lui donner des formules
• Identifier des traits caractéristiques
• Observer des régularités

Nous avons tout d’abord exploré la question du traitement de l’image. Il a donc été nécessaire d’expliquer comment une "machine" regarde une image ou encore qu’est ce qu’une image pour une machine ?
Voici la réponse apportée : une image est un ensemble de points repérés par des coordonnées accompagnés de trois valeurs a, b, c d’un degré de 0 à 255 pour les trois couleurs jaune, cyan et magenta.
Ils ont donc construit des carrés afin de leur montrer la matrice des points et surtout l’importance du degré de noir pour que la machine puisse identifier le carré.
J’ai donc utilisé ces fichiers qui capturent la photo et font apparaître les coordonnées des points repérés.

Photo carré (Zip de 1.1 ko)

Ce fichier capture la photo et fait apparaitre la matrice des points exportés.
Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

photo transcription en programmation (Zip de 1.1 ko)

Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

J’ai utilisé leurs carrés construit sur feuille et nous avons échangé sur les erreurs liées à la nuance de noir. La transcription est parfois loin de la photo réalisée.
Voici avec ce fichier :

Reconstruction du carré (Zip de 631 octets)

Programme qui permet de récupérer les coordonnées du quadrilatère et affiche le résultat obtenu.
Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

Le carré construit par l’élève :

Et, la retranscription obtenue :

Nous avons "accepté" cette erreur liée à la capture de la photo et nous avons décidé de calculer la longueur des côtés ce qui nécessite le fait de savoir calculer la longueur d’un segment connaissant les coordonnées des extrémités.

Voici la trace écrite d’un élève suite à nos échanges :

Les élèves ont aisément identifié la configuration du théorème de Pythagore et un élève est passé au tableau pour la démontrer dans un cas particulier.
Après plusieurs exercices d’application, ils ont alors programmé une fonction python permettant de calculer la longueur d’un segment.
Voici le fichier d’un élève complété des fonctions permettant de savoir si un quadrilatère est un triangle, un rectangle :

Fichier élève longueur (Zip de 617 octets)

Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

J’ai donc ensuite saisi ces fonctions dans un programme que j’avais préparé. Il permet de faire émerger les extrémités du quadrilatère pris en photo :

Programme extrémités à compléter (Zip de 811 octets)

Ce programme permet de récupérer les extrémités du quadrilatère pris en photo. Il reste à rajouter le programme réalisé par les élèves pour conclure quant à sa particularité.
Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

Avec le programme de l’élève, voici le programme complet ainsi construit :

Programme extrémités complété (Zip de 1.1 ko)

Scénario Reconnaissance d’image et fonctionnement d’une IA (1) - TraAM 2021-2022 - Académie de Poitiers.

Vous constaterez déjà que j’ai dû le modifier car ses fonctions renvoyaient du texte qui ne permet pas une réutilisation dans un programme plus complet testant l’égalité de longueurs.

Le programme fait émerger encore une problématique. Il ne fonctionne pas en raison du calcul de la racine carrée. Nous avons donc mis en évidence l’importance de vérifier l’égalité des carrés et ainsi raisonner sur des valeurs exactes.

Réussites, obstacles et limites

Teachable machine a été très bien reçue et a suscité l’engagement des élèves. L’approche ludique de l’apprentissage machine permet de donner du sens et les engage déjà dans une réflexion plus globale de la méthode.
Cette première approche de la reconnaissance d’images permet de développer l’esprit critique et de leur faire comprendre les limites de cette analyse par le calcul des longueurs.
Plusieurs problématiques ont émergé :

• La transcription de l’image en matrice de coordonnées de points n’est souvent pas fidèle à la réalité observée en raison des couleurs.
• Il suffit d’un petit décalage dans les coordonnées du point pour que la machine décide de dire que le quadrilatère n’est pas un carré. Elle reste donc comme si la machine était capable de passer à l’abstraction. Un carré parfait dans la réalité "n’existe pas".
• Le calcul de longueur nous donne des valeurs approchées qui empêchent de tester correctement une égalité.

Dans l’animation, l’enseignant doit lui même présenter des programmes que les élèves ne peuvent pas construire. La notion de liste n’étant pas au programme de seconde, elle présente donc un frein important à la compréhension des programmes présentés.

Documents de référence

Document élève reconnaissance image (PDF de 383.4 ko)

Ce document est le support élève : Repères et modèles mathématiques, comment fonctionne une intelligence artificielle ?
Scénario Reconnaissance d’image et fonctionnement d’une IA (2) - TraAM 2021-2022 - Académie de Poitiers.

Document professeur reconnaissance image (PDF de 285.2 ko)

Ce document est le support professeur : Repères et modèles mathématiques, comment fonctionne une intelligence artificielle ?