CV Dazzle

CV Dazzle est une forme de camouflage issue de la vision par ordinateur, créée en 2010 dans le cadre de mon mémoire de maîtrise du programme de télécommunications interactives de l'université de New York. Contrairement au camouflage traditionnel, tel que le matériau à motifs perturbateurs, qui dissimule le porteur à l'observation humaine, CV Dazzle est conçu pour casser les systèmes de vision artificielle tout en restant perceptible pour les observateurs humains. Il s'agit de la première technique de camouflage documentée à attaquer avec succès un algorithme de vision artificielle.

Dans ce projet de recherche de 2010, la technique a été utilisée pour casser l'algorithme de détection des visages Viola-Jones, largement utilisé (à l'époque), en utilisant des motifs audacieux pour casser les caractéristiques attendues des profils de détection des visages (haarcascades). Cet algorithme est progressivement devenu obsolète dans le domaine de la sécurité vers 2013-2016 et n'est plus utilisé, de sorte que les motifs originaux (conçus entre 2010 et 2013) ne sont plus actifs. Mais jusqu'alors, il s'agissait du seul algorithme de détection des visages, ce qui créait un point de défaillance unique en cas de panne, qui se répercutait en cascade sur l'ensemble du secteur de la sécurité. Tout à coup, une technologie clé de l'appareil de sécurité de l'après 11 septembre, auparavant infaillible, a pu être déjouée par le maquillage et les coiffures.

Cette page est une vue d'ensemble des concepts, de la motivation et des premiers tests du projet. Des informations plus techniques sur l'ingénierie inverse et la visualisation des vulnérabilités de haarcascade et d'autres algorithmes de vision par ordinateur pourront être publiées ici à l'avenir.

Mises à jour

• 1 mars 2023 : cvdazzle.com redirige maintenant vers cette page où je maintiens des informations actualisées et précises sur le projet. Testé en utilisant le nouveau workflow de rendu 3D.
• Septembre 2020 : Deux nouveaux looks CV Dazzle conçus en 3D sont présentés à Designs for Different Future Walker Center of Art (faire défiler vers le bas pour les médias connexes).

Comment ça marche

Les premiers modèles de CV Dazzle modifient les zones sombres et claires d'un visage (ou d'un objet) en fonction des vulnérabilités d'un algorithme spécifique de vision par ordinateur. Dans l'image ci-dessus (Look #5)), la conception cible l'algorithme de détection de visage Viola-Jones, un détecteur de visage populaire (au moment du développement) et open source qui est inclus dans le cadre de vision informatique OpenCV. Mais CV Dazzle n'est pas un dessin ou un modèle spécifique. CV Dazzle est une stratégie de camouflage visant à échapper aux systèmes de vision informatique, qui évolue, comme le camouflage, en même temps que la technologie qu'elle vise à subvertir. Les motifs et les dessins sont toujours spécifiques au porteur, à l'algorithme et aux conditions environnementales.

Les motifs peuvent être créés en utilisant uniquement des accessoires de coiffure, de maquillage et de mode, qui peuvent être adaptés au style de n'importe quel porteur et sont peu coûteux ou gratuits, et accessibles à un large public. Des formes plus récentes de l'approche CV Dazzle pourraient cibler d'autres algorithmes, tels que les réseaux neuronaux convolutionnels profonds, mais il faudrait trouver des vulnérabilités dans ces algorithmes. La vision par ordinateur étant une détermination probabiliste, trouver le bon look consiste à trouver comment apparaître un cran en dessous du seuil de détection.

Pour guider le développement des premières apparences du projet, un algorithme génétique a été utilisé pour trouver les visages optimaux cachés dans l'algorithme. Pendant plus d'une décennie, depuis le développement de l'algorithme Viola-Jones en 2003, ces visages ont été les prototypes utilisés pour détecter le visage humain dans les vidéos de sécurité. Les principales observations sont la forte dépendance à l'égard des zones sombres autour des yeux, la symétrie, la stabilité du pont nasal et l'obscurité sous le nez. Le maquillage et la coiffure permettent d'inverser les zones sombres et claires afin de réduire la probabilité de détection à travers les différentes étapes du profil haarcascade, un détecteur à plusieurs étapes qui utilise environ 20 à 25 étapes de notation au cours du processus de détection. Une visualisation du processus est présentée dans cette vidéo de recherche.

https://vimeo.com/12774628

La détection des visages étant la première étape de tout système automatisé de reconnaissance faciale, le blocage de l'étape de détection bloque également toute analyse faciale ultérieure, y compris la reconnaissance et l'analyse émotionnelle. Par conséquent, CV Dazzle pourrait être utilisé pour bloquer la reconnaissance faciale en bloquant la détection du visage en utilisant uniquement la coiffure et le maquillage. C'est la stratégie utilisée pour les looks présentés sur cette page, qui ciblent tous l'algorithme de détection des visages Viola-Jones haarcascade. Si un visage n'est pas détecté par l'algorithme, il bloque effectivement les algorithmes de reconnaissance suivants. Ces deux algorithmes sont souvent confondus, alors qu'ils sont totalement différents et présentent chacun leur propre série de vulnérabilités.

De nombreuses utilisations de CV Dazzle par les communautés et les activistes ont ciblé la reconnaissance des visages plutôt que la détection. Il s'agit également d'une approche valable, mais pas de l'approche utilisée pour la preuve de concept. La reconnaissance des visages, comme la détection, calcule simplement une probabilité de ressemblance entre un visage et d'autres, en utilisant généralement une métrique de similarité cosinus avec un vecteur de caractéristiques de 512, 1024 ou 2048 longueurs décrivant le visage. L'ajout d'une couverture faciale, d'un maquillage ou d'une prothèse affectera ce score à des degrés divers.
Livre des regards #

Le premier design (Look #1)) a été créé en 2010 comme preuve de concept pour ma thèse de maîtrise à l'ITP NYU. Les 5 looks suivants ont été créés en collaboration avec DIS Magazine (Looks 2-4) et pour une commande du New York Times (Looks 5-6). L'objectif de ces looks tests était d'explorer le potentiel d'un style fonctionnel tout en restant dans les marges de la mode conceptuelle.

Evaluation #

To verify the results below, the images can be tested against each of the OpenCV haarcascade profiles to demonstrate their effectiveness. Use the code below to verify the results in the table.

import cv2 as cv
im = cv.imread(filepath)
im_gray = cv.cvtColor(im, cv.COLOR_BGR2GRAY)
cascade = cv.data + "haarcascade_frontalface_default.xml"
classifier = cv.CascadeClassifier(cascade)

faces = classifier.detectMultiScale(
im_gray,
scaleFactor=1.05,
minNeighbors=3,
minSize=(50, 50)
)

print("Found {} face candidates".format(len(faces))

Draw rectangles over faces

for (x, y, w, h) in faces:
cv.rectangle(im, (x, y), (x+w, y+h), (0, 255, 0), 3)

cv.imshow("Result" ,im)
cv.waitKey(0)
cv.destroyAllWindows()

Une autre façon de visualiser l'efficacité est d'utiliser une carte de saillance (chaleur) pour montrer quelles zones de la région du visage sont manquées ou activées par l'algorithme de détection des visages. La carte de saillance est générée en séparant chaque étape du classificateur haarcascade et en mesurant le score de confiance calculé pour cette étape, puis en fusionnant les régions de la fenêtre coulissante pour produire une carte de chaleur.
Carte de saillance pour le regard 5. Modèle : Évaluation de la salinité de la séance photo du New York Times Op-Art. Adam Harvey 2014.

Les résultats illustrent et prouvent que les cheveux et le maquillage peuvent à eux seuls être utilisés pour abaisser la probabilité du porteur en dessous du seuil de détection pour la plupart des profils de détection OpenCV Haarcascade. Il convient toutefois de garder à l'esprit certaines limites importantes.

Tout d'abord, ces looks ont été conçus pour fonctionner contre le détecteur de visage Viola-Jones Haarcascade dans des images fixes en 2D dans le spectre de la lumière visible avec les profils de détection Haarcascade pré-entraînés. D'autres algorithmes de détection de visages, tels que les motifs binaires linéaires (LBP), les histogrammes de gradients orientés (HOG), les réseaux neuronaux covolutionnels (CNN), les systèmes multicaméras basés sur la 3D et les systèmes d'imagerie multispectraux, nécessiteraient une stratégie différente. Ces recherches sont uniquement basées sur les classificateurs Viola-Jones Haarcacade.

Deuxièmement, les conditions d'éclairage font varier les résultats. La pose et l'éclairage de ces photos sont similaires à ceux d'une photo d'inscription biométrique (style passeport). Un éclairage aérien ou plus direct modifiera l'intensité et l'emplacement des ombres, ce qui changera le résultat de la détection.

Conseils de style

Les conseils ci-dessous s'appliquent uniquement à la méthode Viola-Jones haarcascade pour la détection des visages. Pour obtenir les meilleures performances, un look CV Dazzle est très spécifique à la situation, unique au porteur, conçu pour un algorithme spécifique et jamais reproduit.

• Maquillage Évitez les rehausseurs. Ils amplifient les principales caractéristiques du visage. Cela rend votre visage plus facile à détecter. Appliquez plutôt un maquillage qui contraste avec votre teint dans des tons et des directions inhabituels : des couleurs claires sur une peau foncée, des couleurs foncées sur une peau claire.
• Arête du nez Obscurcir partiellement la zone de l'arête du nez. La région où le nez, les yeux et le front se croisent est un élément clé du visage. Cette fonction est particulièrement efficace contre l'algorithme de détection des visages d'OpenCV.
• Yeux Obscurcir partiellement l'une ou les deux régions oculaires. La position symétrique et l'obscurité des yeux sont des caractéristiques clés du visage.
• Masques Évitez de porter des masques, car ils sont illégaux dans certaines villes. Au lieu de dissimuler votre visage, modifiez le contraste, les gradients tonaux et la relation spatiale entre les zones sombres et les zones claires à l'aide de cheveux, de maquillage et/ou d'accessoires de mode uniques.
• Tête Des recherches menées par Ranran Feng et Balakrishnan Prabhakaran, de l'université du Texas, montrent que le fait de masquer la forme elliptique d'une tête peut également améliorer votre capacité à bloquer la détection des visages. Lien : Faciliter l'art du camouflage dans la mode. Utilisez les cheveux, les cols roulés ou les accessoires de mode pour modifier la forme elliptique attendue. https://dl.acm.org/doi/10.1145/2502081.2502121
• Asymétrie Les algorithmes de détection des visages attendent une symétrie entre les côtés gauche et droit du visage. En adoptant un look asymétrique, vous pouvez réduire votre probabilité d'être détecté.

Commissions

En décembre 2013, le New York Times a commandé un nouveau look (Look #5)) pour un article d'Op-Art sur la reconnaissance faciale, présentant le concept à un large public et prouvant que la détection et la reconnaissance des visages ne sont pas aussi puissantes que les agences le prétendent.

Produit par John Niedermeyer et James Thomas. Photo © Adam Harvey, modelage par Bre Lembitz, coiffure par Pia Vivas, maquillage par Giana DeYoung

Contexte

Ce projet a débuté en 2010 dans le cadre de ma thèse de maîtrise à l'ITP de l'Université de New York. Il s'agit d'une remise en question des asymétries de pouvoir croissantes dans le domaine de la vision par ordinateur et, en particulier, du déploiement à grande échelle de la technologie de reconnaissance faciale.

Le nom du projet a été inspiré par le camouflage des navires de la Première Guerre mondiale appelé Dazzle, qui utilisait des motifs inspirés du cubisme pour rompre la continuité visuelle d'un cuirassé afin de dissimuler son orientation et sa taille. De même, CV Dazzle, abréviation de Computer Vision Dazzle, utilise des motifs graphiques audacieux qui rompent la continuité visuelle d'un visage. Bien que le résultat final soit encore visible pour les observateurs humains, CV Dazzle dégrade la compréhension visuelle des systèmes de vision par ordinateur.

Ce projet en cours est motivé par le besoin de retrouver sa vie privée dans un monde où la surveillance visuelle et la collecte de données sont de plus en plus fréquentes. La vision par ordinateur pose de nouveaux défis qui n'existaient pas dans l'observation humaine : elle est évolutive, à distance, en réseau, amplifiée et multispectrale.

L'idéal serait de pouvoir apparaître visible aux yeux des observateurs humains, mais moins visible aux yeux des systèmes de surveillance par vision artificielle. Tel est l'objectif de CV Dazzle : atténuer les risques liés à la capture et à l'analyse d'informations visuelles à distance et par ordinateur sous le couvert de la mode. Depuis le début de ce projet en 2010, les préoccupations liées à la reconnaissance faciale généralisée sont devenues de plus en plus urgentes et apparentes, et nous espérons que ce projet continuera à se développer.
Réponses #

Le projet CV Dazzle a suscité des réactions étonnamment positives depuis sa première publication en 2010. Des groupes d'activistes et d'artistes ont organisé des ateliers pour explorer et exposer les vulnérabilités des systèmes de reconnaissance biométrique. Des adultes et des enfants ont organisé des soirées de maquillage. Des créateurs de mode, des musiciens, des activistes politiques et des hackers ont modifié ou emprunté des concepts et ont amené les idées originales dans de nouveaux endroits étranges. Il est encourageant de voir comment les concepts se propagent à travers la distance et le temps, et de constater que la résistance à la reconnaissance faciale ne cesse de croître.

Le projet a fait l'objet de représentations confuses et de nombreuses questions. Bien que le projet date de 2010, je continuerai à mettre à jour cette page avec des réponses et de nouveaux regards lorsqu'ils seront disponibles. Malheureusement, il y a beaucoup de journalisme de copier-coller de nos jours sans vérification suffisante des faits.

---

La deuxième idée fausse est que les modèles originaux de CV Dazzle étaient censés casser la reconnaissance des visages. Comme indiqué plus haut, les conceptions originales de CV Dazzle visaient les algorithmes de "détection des visages", et non la "reconnaissance des visages".

La détection et la reconnaissance des visages sont des algorithmes complètement différents, bien qu'ils soient souvent confondus par des rédacteurs non techniques. Il est possible de concevoir un look contre la détection ou la reconnaissance des visages, mais il s'agit d'algorithmes différents qui requièrent une conception différente. Il serait également possible de concevoir un modèle contre la reconnaissance émotionnelle, l'estimation de l'âge, l'analyse cardio-pulmonaire, la reconnaissance de l'iris, la reconnaissance de la démarche, l'estimation du sexe, l'estimation de la pose du corps et tout autre algorithme biométrique de vision par ordinateur. Mais cet algorithme doit être clairement spécifié au lecteur afin d'éviter tout malentendu. Tout article ne mentionnant pas un algorithme spécifique doit être rejeté.