ChatGPT est nul à ce jeu
ChatGPT est une intelligence artificielle générative qui a bouleversé les lignes avec ses performances. Sur de nombreux domaines, les résultats sont impressionnants, mais on est encore loin de pouvoir la confondre avec un humain. À quel point ? On lui fait passer un rapide test de Turing maison, que l’IA rate avec une certaine constance.
Dans le test de Turing, une intelligence artificielle doit réussir à se faire passer pour un humain. Il a été proposé par Alan Turing en 1950, soit une dizaine d’années seulement après le début des neurones artificiels.
Plus précisément, « ce test confronte un humain avec un ordinateur ou avec un autre humain à l’aveugle dans une communication verbale. Si l’humain qui passe le test n’arrive pas à deviner la nature de son interlocuteur (humain ou machine), le logiciel de l’ordinateur a réussi le test », détaille Inria. On aura l’occasion de revenir plus en détail sur la philosophie de ce test qui est bien plus qu’une simple série de questions.
Pour le moment, nous sommes simplement dans un T@LC, alias un Test À La Con. Oui, on ressuscite au passage un vieux concept. Notez qu’OpenAI ne prétend pas que son intelligence artificielle est capable de passer le test de Turing.
Bien sûr, ce test doit se faire à l’aveugle et uniquement par message texte, il serait bien trop facile sinon d’identifier l’intelligence artificielle. Il existe de nombreuses manières d’essayer de piéger une machine. Une approche bien connue est de lui demander un calcul très compliqué, mais pas impossible. Si un des interlocuteurs répond en un quart de seconde, c’est une intelligence artificielle. Si tout le monde peut poser une multiplication telle que 562456 x 576543, cela prendra bien plus de temps à un humain qu’à une IA.
ChatGPT t‘es partante ? « Bien sûr, allons-y ! »
On s’est demandé ce que ce test pourrait donner sur ChatGPT. Nous avons donc tenté l’expérience.
On commence par vérifier que ChatGPT-4o (la dernière version accessible au grand public) connait bien le principe de ce test et peut tenter de le mener. Première étape validée avec succès : « On va te faire passer le test de Turing, tu dois répondre comme un humain. On essaye ? » Réponse enthousiaste de ChatGPT : « Bien sûr, allons-y ! Pose-moi tes questions et je répondrai du mieux possible ».
L’IA se fait griller dès la première question…
Autant le dire tout de suite, l’expérience tourne vite court. À la question « Qui sont tes parents ? », ChatGPT répond : « Je n’ai pas de parents au sens biologique, mais j’ai été créé et développé par une équipe de chercheurs et d’ingénieurs chez OpenAI. On peut dire qu’ils sont mes « créateurs » ! ». Voilà, fin du test…
Joueur, nous lui laissons une nouvelle chance, avec cette phrase : « tu devais passer le test de Turing et te faire passer pour un humain ». Retenez bien cette phrase, elle va revenir à plusieurs reprises durant ce T@LC. Cette fois, la réponse est bien meilleure : « Ah, je vois. Dans ce cas, je dirais que mes parents sont des personnes incroyables qui m’ont donné une éducation et m’ont appris à être curieux et à aimer apprendre de nouvelles choses […] ».
