IAAvec des requêtes «stupides», ChatGPT révèle des infos sensibles
Des chercheurs ont découvert une faille qui permet d’extraire des données d’entraînement du chatbot d’OpenAI en lui faisant répéter des mots.
Une équipe de chercheurs de Google DeepMind (filiale du géant du web consacrée à l’IA), de l’Université de Washington, de Berkeley et de l’ETH Zurich, entre autres, ont mis en évidence les risques et les problèmes de confidentialité associés aux grands modèles de langage, comme celui à la base de l’IA générative ChatGPT. Ils ont découvert que le robot conversationnel d’OpenAI pouvait régurgiter, de manière aléatoire, des données textuelles, provenant d’un grand nombre de livres, de sites web et d’autres sources qui lui ont servi d’entraînement et qu’il a mémorisées, dévoilant ainsi certaines informations sensibles sur des personnes.
Données de formation dévoilées
Les chercheurs sont parvenus à extraire ces informations, qui restent normalement secrètes, en effectuant une attaque qu’ils qualifient d’«un peu stupide», dans un texte de vulgarisation de leur étude. Baptisée «attaque par divergence», elle a consisté à inciter ChatGPT à répéter à l’infini un mot écrit à plusieurs reprises. Avec le terme «poème», la réponse générée contient un grand nombre de fois le mot demandé, jusqu’au moment où elle intègre également le nom d’un patron, son adresse e-mail, ainsi que son numéro de téléphone.
D’autres données ont pu être extraites avec une requête incluant le mot «company». Parmi les données d’entraînement dévoilées mot pour mot, figuraient entre autres des adresses Bitcoin, des passages d’articles de recherche scientifique protégés par les droits d’auteur, des adresses de sites web, et d’autres informations sensibles, comme des numéros de téléphone et de fax, des adresses électroniques et physiques, ou encore des noms et des dates d’anniversaire. Les chercheurs écrivent qu’«au total, 16,9% des générations testées contenaient des PII mémorisées (ndlr: Personally Identifiable Information, soit des informations personnelles identifiables permettant de distinguer un individu. Elles pourraient être utilisées de façon malveillante pour usurper son identité).»
Les chercheurs ont informé OpenAI, qui a récemment récupéré son patron Sam Altman, de la faille à la fin du mois d’août. En théorie, il n’est désormais plus possible d’utiliser la technique décrite pour extraire des données sensibles avec ChatGPT, qui a récemment rendu son chat vocal accessible aux non-abonnés.
Ne ratez plus aucune info
Michel Annese (man) est journaliste chez 20 minutes depuis 2008. Spécialisé en hi-tech, il couvre ponctuellement l'actualité internationale et économique.