Màj – Pédopornographie : une potentielle faiblesse du système CSAM d’Apple illustrée
Apple s’en défend déjà.
Mise à jour : un chercheur a testé ce qu’Apple emploierait comme seconde méthode de vérification des images sensibles pour limiter les faux positifs, avec succès. Plus de détails en fin d’article.
Apple n’en a pas fini de défendre son nouveau système de détection d’images pédopornographiques pour iCloud. Et la nouvelle découverte faite par le développeur Asuhariet Ygvar il y a quelques séjours ne va pas arranger les affaires du géant californien. En effet, l’homme a analysé l’algorithme de codage dit de “NeuralHash” sur lequel se base la détection CSAM d’Apple, codage trouvé dans iOS 14.3. Il a même pu recréer sa propre version du système en langage de programmation Python.
Avec celle-ci, il a mis en évidence que deux images très éloignées pouvaient obtenir le même identifiant NeuralHash. Et cela inquiète en regard des faux positifs que pourrait créer la détection d’images pédopornographiques d’Apple.
Cela n’a pas manqué de faire réagir Apple qui a immédiatement précisé, auprès de Vice, que la version vue sur GitHub de la détection d’images n’est pas celle employée par Apple pour son système CSAM. Les ingénieurs Apple seraient parvenus à mettre en place une version de cet outil bien plus aboutie et bien plus sûre.
En outre, comme il a été précisé par la firme californienne dans l’un de ses documents techniques, un seuil de détection doit être dépassé pour qu’un compte iCloud soit signalé comme partageant du contenu pédopornographique. Le seuil est de 30 images. Sachant qu’en plus de cela, après signalement du système, une vérification est faite par des employés d’Apple directement pour éliminer justement tout risque de faux positifs. Ce point était exposé dans la FAQ publiée par la société de Cupertino il y a quelques semaines.
On imagine que toutes les précautions ont en effet été prises lors de l’élaboration du système pour éviter, d’une part, de respecter la confidentialité pour l’utilisateur, d’autre part, de limiter les faux positifs. En espérant que cela soit suffisant.
Rappelons que cette détection de contenus pédopornographiques sera fonctionnelle après la sortie des prochains OS majeurs, iOS 15 et macOS Monterey, avant la fin 2021, donc.
Mise à jour du 20 août 2021
Dans un nouvel article de Motherboard, Apple a déclaré utiliser une technique d’analyse supplémentaire permettant de valider une image comme contenu sensible pédopornographique. Cette vérification se déroulerait sur les serveurs d’Apple, après la première détection ayant eu lieu en local, sur les machines des utilisateurs, mais avant la dernière étape de vérification qui est effectuée par les équipes d’Apple directement, à la main.
Ce deuxième contrôle peut donc annuler un faux positif, ce qui rassure quant à la trouvaille faite initialement par Asuhariet Ygvar et montrant que l’algorithme de base du système CSAM d’Apple pouvait être dupé avec la création d’un même identifiant pour deux photos identiques.
C’est d’ailleurs ce qu’a prouvé le spécialiste de l’intelligence artificielle Brad Dwyer de la firme Roboflow. Ce dernier a démontré comment une intelligence artificielle, OpenAI Clip dans le cas de son étude, parvenait à différencier deux images portant le même NeuralHash. Avec un tel système, de nombreux faux positifs seraient éliminés, ce qui limiterait le travail des équipes de la firme californienne effectuant la dernière vérification avant de donner l’alerte.
À lire également :
- Corellium paye 5000$ pour chercher des failles dans le CSAM d’Apple
- Des journalistes allemands demandent à l’UE d’agir contre le CSAM d’Apple
User1473598773792 (posté avec l'app i-nfo.fr V2)
19 août 2021 à 13 h 40 min
Quid des applications tierces qui ne stockent pas les photos dans l’app native d’Apple ? Le projet semble plus un deal avec les US pour une back door qu’une réelle solution