Panique chez les boutiquiers [1] ! Depuis la crise économique engendrée par l’épidémie, une recrudescence des vols est constatée en supermarchés [2].
Pour lutter contre ce fléau, les gérants des supermarchés ne manquent pas d’imagination : marquages chimiques, multiplication des caméras de surveillance, vigiles et antivols. Malheureusement, ces techniques plus coûteuses que dissuasives ne sont pas toujours concluantes. Aussi, nombreux sont les hypers à se tourner vers un nouvel outil technologique : la « vidéoprotection intelligente ». La réduction des effectifs de sécurité est l’un des arguments de vente de Veesion, opportuniste startup à l’origine d’un algorithme exploitant le réseau de caméras de surveillance des boutiques. Ce dernier permettrait de détecter automatiquement la gestuelle associée au vol à l’étalage : les « comportements suspects ». L’entreprise ne cache pas son ambition d’étendre ses services dans d’autres lieux publics :
« Par la suite, Veesion pourrait être utilisé dans les casinos pour analyser les gestes des joueurs et prévenir la triche, mais aussi dans les lieux publics pour prévenir les actes de malveillance. [3] »
Pour l’heure, la startup propose aux patrons des magasins « d’engager leur équipe dans la lutte contre le vol ». Les réponses du PDG de Veesion ne nous ont pas permis d’obtenir des renseignements très précis sur le fonctionnement technique de l’algorithme. En revanche, nous avons de bonnes raisons de penser que Veesion engage aussi directement les employés des magasins pour repérer les voleurs et alimenter par la même occasion sa base de données afin de rendre le logiciel de plus en plus pertinent. Les vendeurs et caissiers des magasins étaient déjà largement sollicités par les supermarchés pour aider les agents de sécurité à repérer les vols ; les voilà activement engagés dans la lutte.
Leur mission est d’évaluer les performances de l’algorithme : après avoir reçu une notification sur smartphone, accompagnée d’une vidéo, ils constatent (ou pas) le flagrant délit et confirment (ou pas) la pertinence de l’information. Le commentaire d’Arthur, responsable d’un Monoprix franchisé, est fièrement affiché sur le site internet de Veesion : « Grâce aux alertes Veesion, mes collaborateurs vont au-devant des clients pour aider et dissuader les vols potentiels. » Outre la charge de travail en plus pour les employés, ici appelés « collaborateurs », et la gêne qu’une erreur d’appréciation pourrait occasionner autant pour l’employé que pour le client, le dispositif n’a pas réellement convaincu tous les acheteurs. Un responsable de Bio c bon nous confie en effet que l’essai ne fut, pour lui, pas très concluant et que, pour le moment, il n’investira pas dans cette technologie. Apparemment, les notifications affluaient sur les téléphones des vendeurs : la bien mal nommée « intelligence artificielle » se montrait bien incapable de faire la différence entre le personnel qui rangeait la marchandise en rayon et de potentiels voleurs.
Un gérant de Biocoop, quant à lui, s’estime très satisfait du dispositif et affirme que sa "démarque inconnue" a largement baissé. Mais même si Veesion leur fait gagner du temps, cette efficacité pourrait en partie s’expliquer par le fait que les employés et le gérant de ce magasin se montrent particulièrement vigilants. Petit bonus ? Pas besoin d’assumer la surveillance : « C’est pas moi, c’est le logiciel ! » Et le responsable de nous annoncer avec délectation qu’il peut conserver les séquences vidéo extraites automatiquement autant de temps qu’il le désire. L’employée du même Biocoop est, quant à elle, beaucoup moins enthousiaste à propos du dispositif. Elle maintient qu’il lui est impossible de regarder les vidéos lors de l’afflux de clientèle. De plus, les caissiers ne sont pas formés pour ça, c’est une tâche normalement dévolue aux agents de sécurité. Elle regrette que l’absence de personnel dédié l’oblige à garder un œil sur le système de vidéosurveillance "en plus de son travail".
Une gérante d’un Monoprix, elle, jette le doute sur l’efficacité de Veesion. Elle affirme que les trois quarts des alertes s’avèrent être fausses ; en arrivant en caisse les clients sortent leurs articles de leurs cabas, que le logiciel avait pris pour un outil de vol. Étonnamment donc, ce sont les employés qui font le plus gros du travail, et non "la machine".
Mais les services que propose Veesion ne s’arrêtent pas là. Et posent de réels problèmes quant à la vie privée des clients. Ce sont leurs comportements qui sont analysés. A leur insu, ils se retrouvent donc les cobayes (voire les fournisseurs de données à destination) de l’algorithme de Veesion. Ajoutons que les supermarchés peuvent conserver les historiques des extraits filmés. Les séquences vidéo archivées peuvent être gardées un mois, voire plus si les gérants des magasins le désirent, afin de dégager des plages horaires des localisations à risque, par exemple.
« Veesion équipe déjà plus de 300 sites, et le taux de pertinence des alertes vidéo s’élève à 90 % », se défend l’un de ses cofondateurs. Il serait en passe d’être commandé massivement par de grands groupes comme Carrefour, Monoprix, Naturalia, Lidl, Franprix, Intermarché, etc. Il nous confie que beaucoup de clients lui demandent si le système permet d’identifier automatiquement une personne pour prévenir les récidives. « Pour l’instant, malheureusement [sic], la législation ne permet pas la reconnaissance faciale », nous dit-il. Veesion serait par ailleurs capable d’analyser et de reconnaître des produits mis dans une poussette.
Le logiciel est basé sur de l’« apprentissage actif » (active learning), un mode d’apprentissage « semi-supervisé ». Ici, les employés sont requis pour évaluer la pertinence des séquences vidéo, et Veesion analyse de manière centralisée les retours de tous ses clients, vérifiant si les personnes « désignées » par l’algorithme ont commis une infraction. Ce processus d’apprentissage en continu des intelligences artificielles ne peut en effet s’effectuer sans l’aide de l’humain. Les entreprises qui développent ce type de technologie font par ailleurs régulièrement appel à une main d’œuvre étrangère : ceux qu’on appelle « travailleurs du clic ». Pour Veesion, pas la peine. Les caissiers font l’affaire. De plus, les patrons ont accès à tout le détail des interactions entre l’employé et son écran. Libre à lui alors de sommer ses employés d’être plus attentifs aux alertes de la machine en cas de non-retour de leur part. À l’image des chauffeurs qui alimentent les bases de données qui serviront au bon fonctionnement des voitures autonomes, les agents de sécurité et les caissiers travaillent, eux, indirectement pour les entreprises qui organisent leur éviction. Le rêve inavoué des gérants des hypers restant, à terme, de supprimer les postes tenus par des humains.
« Le système pourrait un jour être capable d’analyser les actes d’achat du consommateur qui remplit son chariot et calculer automatiquement le montant de ce qu’il doit payer. Ce serait la fin de la corvée du passage en caisse. » [4]
De quel droit ?
La Quadrature du Net s’inquiète du risque de banalisation de la surveillance algorithmique et souligne que certaines pratiques de Veesion seraient non seulement détestables mais aussi illégales.
En effet, le dispositif récupère, analyse et archive des données à caractère personnel puisqu’il s’agit de données extraites de séquences vidéo d’individus. En France, elles sont protégées par la loi du 6 janvier 1978 : loi dite « Informatique et libertés ». Celle-ci indique la nécessité d’une déclaration préalable à la CNIL (Commission nationale de l’informatique et des libertés) – dans le public comme dans le privé – en cas d’exploitation des données personnelles d’un individu. Lorsque les acteurs privés traitent ce type de données, ils doivent également respecter la règle de nécessité/proportionnalité en fonction de leurs objectifs. Or les hypermarchés pourraient utiliser d’autres méthodes que celle de la surveillance accrue de leurs clients pour parvenir à leur objectif : embaucher plus de vigiles, anti-voler plus de produits, etc.
Veesion pourrait en outre se trouver dans une position problématique à l’égard de l’article 9 du RGPD (Règlement général sur la protection des données) de 2016. Ce dernier encadre l’utilisation des « données biométriques » ; leur traitement est de facto interdit dans le cadre privé. Le logiciel évolue en effet grâce à l’analyse des comportements des personnes, c’est-à-dire de leur gestuelle propre ; pour ensuite potentiellement les individualiser. Une « donnée biométrique » dans l’article 4 du RGPD est définie comme suit : « des données à caractère personnel résultant d’un traitement technique spécifique, relatives aux caractéristiques physiques, physiologiques ou comportementales d’une personne physique, qui permettent ou confirment son identification unique [...] ». L’« identification » d’une personne n’implique pas nécessairement de connaître son état civil. Par exemple, le fait de repérer une personne sur plusieurs réseaux de caméras pourrait déjà être considéré comme une « identification ».
Pour le moment, les « caméras intelligentes » ne font l’objet d’aucun texte de loi, mais la CNIL travaillerait actuellement à l’adoption d’une position globale sur leur utilisation par les collectivités territoriales. « Leur utilité et intérêt réels, en fonction de circonstances précises, n’ont pu en ce sens être évalués et débattus à un niveau plus général que par les organisations décidant de leur mise en place. » [5]
Pour en savoir un peu plus sur le fonctionnement de ce type de technologie, nous avons interrogé Jean-Gabriel Ganascia, spécialiste en Intelligence artificielle. Il s’apprête à diriger un groupe de travail portant sur la reconnaissance faciale et comportementale dans le cadre du CNPEN (Comité national pilote d’éthique du numérique). Il affirme que lorsque l’on entraîne un programme d’intelligence artificielle par apprentissage automatique, on ne peut pas toujours anticiper son comportement. Étant donné que l’apprentissage machine se fonde sur la détection de corrélations ; le risque réside dans le caractère potentiellement fortuit de celles-ci. Les raisons spécifiques des associations que font les algorithmes sont parfois difficiles à cerner, même pour les développeurs.
Jean-Gabriel Ganascia souligne un autre aspect essentiel du fonctionnement algorithmique : la comparaison. C’est en analysant les personnes qui commettent des actes, et d’autres qui n’en commettent pas, que le logiciel est capable de déterminer quels sont les comportements « suspects » dans une situation donnée. En ce sens, tout le monde est passé au crible ; tous les clients deviennent des voleurs potentiels. En outre, le processus d’apprentissage de reconnaissance de comportement suspect est rendu possible grâce à un échantillon de séquences vidéos (plus ou moins grand) de personnes qui « commettent des actes définis ». C’est pour cela , par exemple, qu’en fonction de l’ethnie majoritaire des personnes filmées présentes dans la base de données initiale, les corrélations algorithmiques établies peuvent être biaisées. Dans le cas de Veesion, le moyen et la source de "l’apprentissage" restent très opaques. On sait seulement que le logiciel fonctionne en analysant les mouvements et dynamiques des pixels d’une vidéo.
Pour le moment ces technologies sont encore à un stade d’expérimentation, mais elles pourraient se développer également dans les lieux publics. La société XXII GROUP propose à la ville de Suresnes d’expérimenter un logiciel de détection de « comportement suspect » pour favoriser une intervention en temps réel des forces de l’ordre. Dans le cas de Veesion, c’est bien souvent l’analyse des comportements des personnes les plus précaires, qui volent par nécessité, qui alimente la base de données. Si des logiciels de surveillance algorithmique venaient à se développer, on pourrait imaginer qu’ils fondent, à terme, « leurs suspicions » sur des critères physiques et discriminatoires. On se rappelle de Tay, une intelligence artificielle développée par Microsoft en 2016 qui a intériorisé des préjugés racistes et misogynes de quelques twittos à force d’y être exposée, et qui a été suspendue après seulement une journée d’existence.
Outre le positionnement ambigu du dispositif Veesion par rapport aux lois sur la protection des données personnelles et biométriques, ce genre de technologie intelligente participe à la normalisation d’une surveillance toujours plus millimétrée et opaque, autant dans l’espace public que privé.
Nous aurons donc appris que les clients de Biocoop, adeptes du Bio pour consommer éthique, collaborent finalement avec Veesion, qu’ils le veuillent ou non ; afin de permettre à l’algorithme de différencier efficacement ceux qui volent et ceux qui ne volent pas. On sait aussi désormais que les vendeurs sont obligés de fliquer les clients à travers les caméras de surveillance, une besogne normalement réservée aux vigiles. Une surveillance pas tout à fait automatisée, donc.
Mélanie Martin
