À la demande d’un médecin, un père a pris son fils nu en photo en amont d’une consultation. Google y a vu du matériel abusif.
Voilà un incident qui risque fort de relancer bien des débats autour de l’intelligence artificielle, du cloud et de la place des grosses sociétés de la tech dans la vie quotidienne. Le New York Times vient en tout cas de relayer une affaire qui concerne Google. Après avoir envoyé via son téléphone Android des photos de son enfant à son médecin, un homme a vu son compte suspendu et une enquête lancée à son encontre.
Quand la protection automatique se trompe
En février 2021, au moment où bien des médecins ne consultaient qu’en visio à cause de la pandémie, Mark (le nom n’a pas été dévoilé) remarquait un gonflement au niveau des parties génitales de son jeune enfant. À la demande d’une infirmière, il envoyait alors des photos (possiblement enregistrées de manière automatique dans le cloud de Google ensuite) avant une potentielle consultation en ligne. Cette dernière débouchera d’ailleurs sur une prescription d’antibiotiques pour lutter contre l’infection.
Sauf que, deux jours après, Mark recevra une notification de la part de Google, lui indiquant que son compte avait été suspendu pour cause de « contenu nuisible ». Et d’ajouter que celui-ci était non seulement en violation des règles de Google, mais également possiblement illégal. De plus, un rapport au National Center for Missing and Exploited Children (NCMEC), débouchant sur une enquête policière, était également lancé.
De la difficulté de faire la différence
Cet incident, visiblement non isolé, pose de nombreuses questions. Bien que conçu pour protéger les plus jeunes, ce système est assurément faillible. La précision des logiciels utilisés pour repérer automatiquement du contenu jugé illicite ne semble pas parfaite, et même un humain risque souvent de peiner à faire la différence entre une photo innocente ou non. Cet événement vient également relancer la question de l’envoi automatique de données dans le cloud, dont bien des utilisateurs n’ont pas conscience.
Enfin, il s’agit d’une claire relance sur le bien fondé ou non de la présence intrusive des principales sociétés de la tech dans les fichiers personnels de tout un chacun.
