La startup californienne vient de monter une équipe chargée de lutter contre les dangers de cette technologie.
OpenAI veut aller plus loin dans le domaine de l’intelligence artificielle (IA), mais la startup se soucie également la menace que représente cette technologie. Le créateur de ChatGPT a annoncé jeudi la création d’une toute nouvelle équipe chargée de lutter contre les « risques catastrophiques de l’IA ». « Dans le cadre de notre mission de création d’AGI (intelligence artificielle générale, ndlr) sûres, nous prenons au sérieux l’ensemble des risques de sécurité liés à l’IA, depuis les systèmes dont nous disposons aujourd’hui jusqu’aux confins de la superintelligence », a assuré l’entreprise dans un article de blog.
Parmi les dangers évoqués, OpenAI mentionne la cybersécurité ainsi que les menaces chimiques, biologiques, radiologiques et nucléaires. La nouvelle équipe, appelée « Preparedness », aura pour objectif d’aider « à suivre, évaluer, prévoir et se protéger » contre ces risques catastrophiques. Elle sera dirigée par Aleksander Madry, ancien professeur d’informatique au Massachussetts Institute of Technology (MIT) et membre du Computer Science and Artificial Intelligence Laboratory (CSAIL) de l’institut.
Minimiser les risques catastrophiques
Avec cette équipe, OpenAI espère minimiser ces dangers à mesure que les modèles d’IA s’améliorent. « Nous pensons que les modèles d’IA de pointe, qui dépasseront les capacités actuellement présentes dans les modèles existants les plus avancés, ont le potentiel de bénéficier à l’ensemble de l’humanité. Mais ils présentent également des risques de plus en plus graves », a souligné la startup. Pour elle, il sera nécessaire de répondre à des questions comme « Dans quelle mesure les systèmes d’IA d’avant-garde sont-ils dangereux lorsqu’ils sont utilisés à mauvais escient, aujourd’hui et à l’avenir ? » pour gérer les risques catastrophiques de cette technologie.
La nouvelle équipe aura également pour mission d’élaborer et de maintenir une politique de développement tenant compte des risques (RDP), qui vise entre autres à « compléter et à étendre nos travaux existants d’atténuation des risques, qui contribuent à la sécurité et à l’alignement de nouveaux systèmes hautement performants, avant et après le déploiement », a expliqué la société.
Son annonce fait suite à son engagement avec trois géants de l’IA d’améliorer la sécurité de cette technologie avec le Frontier Model Forum, « un organisme axé sur le développement sûr et responsable des modèles d’IA d’avant-garde ». Elle intervient également quelques jours avant le premier sommet mondial sur l’IA, qui se tiendra au Royaume-Uni cette semaine et se concentrera sur les menaces existentielles posées par cette technologie.
