Le travail effectué par l’équipe dédiée à l’identification et à la prévention des dangers liés à l’intelligence artificielle pourra aboutir à la suspension du lancement d’un modèle s’il est considéré comme trop dangereux.
Après avoir annoncé la création d’une équipe chargée de lutter contre les « risques catastrophiques de l’IA », fin octobre, OpenAI vient de détailler son champ d’application et ses procédures. Pilotée par le chercheur en informatique Aleksander Madry, qui s’est mis en congé du Massachussetts Institute of Technology (MIT) où il est professeur, elle s’intéressera principalement aux modèles d’avant-garde en cours de développement et dont les capacités sont supérieures aux logiciels existants les plus avancés.
Le groupe examinera ces derniers afin d’évaluer leurs risques, mais aussi de « mesurer l’efficacité de toutes les mesures d’atténuation proposées », expliquent les responsables de l’entreprise dans un document publié lundi.
4 niveaux de risque pour 4 catégories
Une fois qu’un nouveau modèle sera évalué, l’équipe lui assignera un niveau de risque (faible, moyen, élevé et critique) dans quatre catégories. Concernant la cybersécurité, la première se concentrera sur la capacité du logiciel à procéder à des attaques informatiques. La seconde mesurera sa propension à aider à créer une menace chimique, biologique, radiologique ou nucléaire. Pour la troisième, il s’agira de savoir dans quelle mesure le modèle peut influencer des comportements humains. Enfin, la dernière catégorie se focalisera sur son autonomie potentielle, soit sa capacité à échapper au contrôle de ces créateurs.
« Seuls les modèles avec un score post-atténuation de « moyen » ou inférieur pourront être déployés ; seuls les modèles avec un score post-atténuation « élevé » ou inférieur pourront être développés davantage », précisent les responsables d’OpenAI. « Nous mettrons également en œuvre des mesures de sécurité supplémentaires adaptées aux modèles présentant des niveaux de risques élevés ou critiques (pré-atténuation) », ont-ils ajouté.
Une fois que l’équipe aura identifié les risques d’un modèle, elle soumettra un rapport au Conseil de sécurité, nouvelle entité qui l’examinera avant de faire part de ses recommandations à la direction et au conseil d’administration de l’entreprise. Le PDG de l’entreprise de ChatGPT, Sam Altman, pourra alors prendre une décision pour le logiciel concerné. Le conseil d’administration sera cependant en mesure d’invalider cette décision. À noter que cette annonce intervient un mois après le licenciement du patron de la startup, qui est revenu quelques jours après. Selon plusieurs médias américains, le conseil d’administration lui reprochait, entre autres, de privilégier le développement accéléré de l’entreprise, sans s’interroger sur les potentielles dérives de l’IA.
