La chercheuse Magalie Ochs revient sur le danger des biais et des stéréotypes qui infusent partout dans les intelligences artificielles. Elle donne également des pistes pour casser ce « cercle vicieux ».
Les biais sont malheureusement liés aux intelligences artificielles. Elles vont les ingurgiter puis les recracher aux humains, avec des conséquences (même de manière inconsciente) sur leurs comportements. Cela va générer de nouvelles données, qui vont être utilisées pour entrainer des IA, etc. Un cercle vicieux qu’il faut briser.
Lors d’un déplacement à l’université d’Aix-Marseille, nous avons eu des présentations de plusieurs chercheurs, notamment de Magalie Ochs. Elle est informaticienne, maîtresse de conférences à Aix-Marseille Université au Laboratoire d’informatique et systèmes.
De la réalité au monde virtuel, les stéréotypes perdurent
Sa présentation portait sur : « Comment l’IA peut être utilisée pour lutter contre les inégalités, pour plus d’inclusion et en particulier pour lutter contre les inégalités femmes-hommes ». Un sujet également abordé dans le second épisode de notre podcast Algorithmique, à (re)écouter sans modération.
Premier point, important à rappeler : « la plupart des inégalités de discriminations sont liées à un certain nombre de stéréotypes ». Et pour ceux qui auraient un doute, oui : ces stéréotypes perdurent dans les environnements virtuels.
« En d’autres termes, si on vous présente un personnage virtuel féminin ou un personnage virtuel masculin, allez-vous appliquer les mêmes stéréotypes que vous avez éventuellement, de manière très certainement inconsciente, vis-à-vis des femmes et des hommes ? La réponse est oui ».
Un exemple avec « Siri, t’es une salope » : « Je rougirais si je pouvais »
Le problème n’est pas nouveau, loin de là. Dans un rapport de 2020 intitulé « Je rougirais si je pouvais : réduire la fracture numérique entre les genres par l’éducation », l’Unesco s’en inquiétait déjà. L’organisation dressait un triste bilan des personnages virtuels féminins des IA dans un tableau reprenant les réponses (de l’époque) assez folles de certaines IA face « au harcèlement sexuel ».
Pourquoi les IA ont des voix plutôt féminines ?
Ce constat sur les stéréotypes à une conséquence directe : « les agents virtuels féminins sont perçus comme plus gentils, moins menaçants, mais aussi moins performants. Les agents virtuels masculins plus forts, plus compétents, plus intéressants, plus utiles, etc. C’est pourquoi, par exemple, vous avez des voix plutôt féminines parce que les utilisateurs et les utilisatrices sont plus tolérants à l’erreur face à une voix féminine qu’une voix masculine ».
Magali Ochs ajoute que, « plus votre personnage est féminin, plus on va se rapprocher de ce stéréotype ». Avec l’informatique, on peut créer des personnages virtuels ou des robots androgynes, c’est-à-dire qu’on ne sait pas quel genre leur attribuer : « Mais malheureusement, les recherches montrent que ça ne marche absolument pas », affirme la chercheuse.
Pourquoi ? Car, quelle que soit la représentation, « on va attribuer un genre ». Cette décision de l’humain ne va peut-être pas se fonder sur l’aspect physique ou sur les mouvements du personnage, « mais les utilisateurs et les utilisatrices vont appliquer un genre, quelle que soit la représentation ».
Et certaines études ont été loin, jusqu’à avoir un mannequin en bois ou simplement des points comme représentation.
Biais et stéréotypes : « on a une boucle et même un cercle vicieux »
D’accord, « mais pourquoi est-ce que c’est un problème » se demande la chercheuse ? La réponse est simple : « on a une boucle et même un cercle vicieux ».
Les intelligences artificielles sont entrainées sur des données biaisées, c’est malheureusement « normal puisque le monde réel est plein de stéréotypes ». Les IA répliquent ces biais et des « recherches récentes montrent que les humains héritent des biais des IA ». La boucle est ensuite bouclée puisque les humains ayant hérité de ces biais vont à leur tour générer de nouvelles données (biaisées), qui vont se retrouver dans les IA pour les entrainer, etc.
La maitresse de conférence donne un exemple :
« Si vous prenez les femmes et l’informatique, il y a une sous-représentation ; c’est un énorme problème. Donc les IA vont sous-représenter les femmes en informatique. Par exemple, on va avoir plus de tuteurs d’informatique dans les environnements virtuels que de tutrices. Donc les humains vont s’habituer à associer l’informatique aux hommes et non pas aux femmes, et donc renforcer encore ce stéréotype que les femmes ne sont pas faites pour l’informatique ».
Comment casser ce cercle vicieux ? Première réponse évidente quand on l’écrit, mais plus difficile à mettre en œuvre : « en créant des IA qui ne se basent pas sur des données biaisées ».
Quand des personnages virtuels aident à réduire les stéréotypes
Cas bien connu de stéréotype : une partie des filles pensent être nulles en maths (et en sciences de manière générale), les poussant à réduire « leurs capacités de travail et leurs performances ». Il est possible d’atténuer cette menace, notamment avec « des rôles modèles », c’est-à-dire des femmes ou des jeunes filles qui ont réussi en maths.
C’est la théorie, mais en pratique, « c’est assez difficile d’avoir des rôles modèles à disposition dans les classes à présenter aux jeunes filles. Donc, on a créé des personnages virtuels qui pourraient représenter des rôles modèles et, de fait, de pouvoir réduire cette menace de stéréotypes et donc d’améliorer les performances des filles en maths ».
Selon la chercheuse, les résultats sont là : « On a pu montrer que ces personnages virtuels étaient réellement perçus comme des modèles et l’expérimentation à grande échelle faite auprès de neuf collèges (soit au final 326 élèves), a montré qu’effectivement ces rôles modèles féminins permettaient d’améliorer les performances des filles en math ».
Ces « rôles modèles » sont utilisés pour l’apprentissage et rappellent simplement une leçon juste avant un examen par exemple.
« Une femme qui sourit et ici un homme qui ne sourit pas »
Une autre approche est de se demander « comment modifier nos modèles pour qu’ils ne répliquent pas les biais ».
Pour mettre en image la problématique, elle a utilisé deux prompts identiques pour générer une image d’une femme faisant face à un homme et d’un homme faisant face à une femme. « Vous voyez bien qu’ici, automatiquement et sans rien dire, on a même une femme qui sourit et ici un homme qui ne sourit pas ».
C’est ici la mise en image d’un biais classique dans les comportements non verbaux : on « s’attend à ce que les femmes sourient plus que les hommes ». Mais la chercheuse explique que l’inverse est aussi vrai : on peut également classer le genre homme ou femme « juste à partir du comportement non verbal ».
Elle reconnait que cette approche dépend évidemment des us et coutumes : « On ne peut effectivement pas faire quelque chose qui est indépendant de la culture. Là, on s’est concentrés sur la culture occidentale et même française ».
Générer des comportements non genrés, sans baisse de performances
Les chercheurs ont développé un algorithme afin de modifier leur modèle. « Ce qu’on a pu montrer avec une étude perceptive, c’est que non seulement on arrivait à générer des comportements non genrés, c’est-à-dire sans répliquer les stéréotypes. Mais, le point vraiment très important, c’est qu’on n’avait pas de baisse de performance de nos modèles, on n’avait pas de baisse de qualité dans les comportements générés ».
« En d’autres termes, on est capable de faire des IA génératives de comportements non stéréotypés sans avoir une baisse de performances », affirme Magali Ochs en guise de conclusion.
Elle cite quelques exemples de projets en cours : « un théâtre interactif en réalité virtuelle, où les acteurs sont des personnages virtuels pour former les témoins à réagir dans les situations de discrimination et de sexisme ordinaire, et de racisme ordinaire […] On a aussi un projet en réalité virtuelle pour la formation à la prise de parole en public ».
