«AI Dungeon» - L’IA dérape et sa modération suscite la polémique
Publié

«AI Dungeon»L’IA dérape et sa modération suscite la polémique

La start-up Latitude, à l’origine d’«AI Dungeon», a réagi après que les algorithmes de son jeu textuel avaient créé des histoires à caractère pédophile.

Le jeu est disponible via le navigateur web ou des apps iOS et Android.

Le jeu est disponible via le navigateur web ou des apps iOS et Android.

dr

Lancé en décembre 2019, «AI Dungeon» doit faire face à la grogne de certains de ses joueurs, après que Latitude, start-up à l’origine de ce jeu de rôle textuel qui laisse libre cours à l’imagination, a renforcé sa modération automatique le 26 avril dernier à la demande d’OpenAI, a récemment rapporté Wired. «Les décisions de modération de contenu sont difficiles dans certains cas, mais pas dans celui-là», avait réagi dans un communiqué Sam Altman, patron de cette organisation d’intelligence artificielle, dont le système GPT-3 est utilisé dans le jeu solo ou multijoueur de Latitude. Cette technologie permet aux joueurs d’interagir avec une intelligence artificielle textuelle dans le but de générer des histoires imprévisibles en tapant l’action ou le dialogue qu’ils veulent que leurs personnages exécutent. Mais celle-ci a récemment dérapé. Il ressort que des histoires à caractère sexuel impliquant des enfants ont ainsi été créées au contact des algorithmes d’apprentissage profond («deep learning»).

Le système de modération automatique mis en place, sans en avertir les joueurs dans un premier temps, a suscité des critiques sur les réseaux sociaux, des joueurs se plaignant d’une IA aux réponses désormais trop bridées. Le site du magazine «Wired» rapporte par exemple le cas d’un joueur ayant reçu un avertissement pour avoir écrit «un ordinateur âgé de 8 ans»…

«Nous restons fidèles aux principes sur lesquels Latitude a été fondée, qui incluent la promotion de la liberté de pensée et d’expression grâce à notre plateforme d’IA avancée. Dans le même temps, nous avons une tolérance zéro pour les contenus sexuels impliquant des mineurs», a écrit dans un billet de blog l’éditeur du jeu le jour suivant le serrage de vis. Il y précise qu’«AI Dungeon continuera à supporter d’autres contenus NSFW, y compris les contenus adultes consensuels, la violence et les jurons».

En s’expliquant et en promettant d’améliorer le système de modération tout en invitant les joueurs à signaler les «faux positifs», Latitude n’a pourtant pas réussi à balayer toute la polémique. Au contraire. Des joueurs se disent «trahis» par le fait que la start-up peut scanner et accéder manuellement à leurs contenus fictionnels privés dans le but de détecter des contenus inappropriés. De plus, selon un post du hacker AetherDevSecOps publié sur la plateforme GitHub, la base de données était vulnérable aux attaques et pouvait permettre à des personnes tierces d’accéder à des contenus non publiés.

(man)

Ton opinion

2 commentaires