In het FieldLab Technologie en Data werkt de gemeente Amsterdam samen met Nationale Politie, TNO en de Johan Cruijff ArenA aan projecten die voor elk van de partijen nuttig zijn. Eén van die projecten is het maken van een demonstrator van (meer-)privacy-compliant gezichtsherkenning.
Hoe werkt het? Wat doet de Politie of het bedrijfsleven hier mee, maar bovenal wat zijn jouw rechten en vragen over dit onderwerp? Moderator Servaz van Berkum bespreekt dit met de experts en beantwoord vragen van de kijkers.
Opgenomen in Pakhuis de Zwijger volgt een 1,5 uur durend diepgaand open dialoog met experts: Mark Wiebes (Innovatiemanager Nationale Politie), Jeroen van Rest (Expert Nationale Veiligheid TNO), Thomas Attema (Cryptograaf TNO) en Martijntje Smits (Technisch Filosofe UU).
Gezichtsherkenningstechnologie wordt ingezet om op basis van digitale beelden (bijvoorbeeld een foto of video), gezichten of gezichtskenmerken te herkennen. De technologie wordt al enige tijd op beperkte schaal ingezet door overheden voor opsporing en beveiliging, maar is sinds kort ook beschikbaar voor bedrijven en burgers. Dit opent een scala aan mogelijkheden voor commerciële ondernemingen en particulieren om mensen te identificeren, te volgen en te profileren.
Zo passen zoekmachines en sociale-mediaplatformen gezichtsherkenningstechnologie toe om portretten en beelden automatisch te beschrijven en van labels (tags) te voorzien; in de retailsector wordt het ingezet om winkelende klanten te monitoren en hen gepersonaliseerde aanbiedingen te doen; bij evenementen wordt de technologie gebruikt om mensen toegang te verschaffen of juist te weren; en diverse bedrijven bieden gezichtsanalyse -en gezichtsherkenningsmodules aan om zelf aan de slag te gaan met het ontwikkelen van bijvoorbeeld smartphone-applicaties. Mensen kunnen zulke gezichtsherkenningstoepassingen gebruiken om anderen op straat te identificeren en informatie over hen te vinden, zoals hun eerdere gedragingen, relaties tot andere mensen of voorkeuren.
De ontwikkeling van automatische gezichts- en emotieherkenning is in volle gang. Een foto van een voorbijganger kunnen we koppelen aan zijn Facebook- profiel (Acquisti & Gross 2009) en computers worden steeds beter in het onderscheiden van echte en gespeelde emoties (Andrade 2014). In supermark- ten bepaalt soms niet de caissière, maar een gezichtsherkenningssysteem of je oud genoeg bent om alcohol te kopen (AIT-bv 2014).
Het inzetten van deze geavanceerde technieken biedt voordelen, bijvoorbeeld op het gebied van veiligheid, omdat het makkelijker wordt om een verdachte te identificeren. Maar de inzet van de technologie roept ook vragen op. Welke informatie valt er eigenlijk van ons gezicht af te lezen? Welke partijen gebruiken die informatie, op welke manier? Zijn wij nog wel ‘de eigenaar’ van ons eigen gezicht en van onze eigen emoties? De technieken stuiten bij sommigen op verzet, bijvoorbeeld van kunstenaars die gezichtsherkenning op creatieve wijze omzeilen (Polo 2010).1
Deze verkennende studie van het Rathenau Instituut signaleert een belangrijke ontwikkeling op het gebied van gezichts- en emotieherkenning: de techniek is indringend en raakt wijdverbreid. Databases groeien, toepassingsmogelijkheden nemen toe, en de techniek wordt steeds beter. Daardoor zitten deze technolo- gieën ons steeds dichter op de huid. In de Verenigde Staten lijkt dit besef toe te nemen: bedrijven ontwikkelen gedragscodes,2 er vinden politieke hoorzittingen plaats over de impact van de technologie op privacy en andere burgerrechten3
en senatoren stellen bedrijven kritische vragen over de impact van deze technologie (Persbericht Al Franken 2014).
Bron: Janssen A., Kool, L. & Timmer, J., Dicht op de huid - Gezichts- en emotie- herkenning in Nederland. Den Haag, Rathenau Instituut 2015
De stad verandert snel door digitalisering. De belofte van data en nieuwe digitale technologie is groot. Tegelijkertijd zijn er ook grote vragen. De partijen in Amsterdam die bij deze innovatie betrokken zijn, hebben zich uitgesproken voor een maatschappelijk verantwoorde ontwikkeling, oftewel in samenspraak met de inwoners van Amsterdam. Men is het erover eens dat de stem van de inwoner nog te veel ontbreekt in de discussie omtrent innovatieve digitale ontwikkelingen. Hiervoor is de afgelopen twee jaar de Catalyst-methodiek ontwikkeld: een participatiemethodiek om inwoners zinvol te betrekken bij innovatievraagstukken in de stad.
De Catalyst-methodiek is wetenschappelijk onderzocht en het innovatieve resultaat van een unieke samenwerking tussen NEMO en de VU. De methodiek bestaat uit een combinatie van stappen die flexibel ingezet kunnen worden afhankelijke van waar de situatie naar vraagt. De stappen zijn altijd gebaseerd op drie principes:
Laagdrempelig: we willen met onze methodiek een divers publiek betrekken. Dat doen we door laagdrempelige activiteiten te creëren waar iedereen aan mee kan doen.
Speels en creatief: we gebruiken speelse en creatieve methoden. Niet alleen om mensen te motiveren om mee te doen, maar ook om hen te helpen om hun mening te vormen. Want mensen hebben geen pasklare mening op de plank liggen; die mening moet in gesprek gevormd worden.
Opbouwend: het doel is om bij te dragen aan de maatschappelijke inbedding van de technologie. Daarom stellen we kritische vragen op een constructieve manier.
De Catalyst-methodiek is ingezet binnen de Digitale Perimeter om de volgende drie innovatie technologieën op een participerende wijze te benaderen.
Bodycams
Camera’s die beveiligers op hun lichaam dragen om videobeelden van risicovolle situaties direct met de controlekamer te kunnen delen.
Doel: er voor zorgen dat de controlekamer snel een goede inschatting kan maken van de situatie en daarnaar kan handelen.
Crowd Monitoring
Een combinatie van meerdere camera’s en sensoren die samen tellen hoeveel mensen zich in een bepaald gebied begeven, hoe snel ze zich bewegen, en welke route ze nemen.
Doel: voorkomen dat straten en pleinen zo vol raken dat het gevaarlijk wordt.
Gezichtsherkenning
Software die foto’s van gezichten met elkaar kan vergelijken.
Doel: supporters met een stadionverbod herkennen of in een mensenmassa daders op sporen.
Deze technologieën kunnen de stad veiliger en prettiger maken, maar ze verzamelen ook veel informatie over inwoners en bezoekers van de stad. Wat vinden de inwoners van Amsterdam daarvan? Dat is waar het om draait bij het inzetten van de Catalyst-methodiek.
Auteurs: Frank Kupper, Giovanni Stijnen, Aafke Fraaije & Ruth Visser. Behandelend ambtenaren Gemeente Amsterdam: Sigrid Winkel & Daan Groenink.
Biometrische surveillance in Nederland (Bits of Freedom)
Biometrische surveillance in de openbare ruimte. Het mag niet, maar gebeurt toch. Dat blijkt opnieuw uit een rapport dat door de European Digital Rights is gepubliceerd. Dit onderstreept nogmaals de zorgen over biometrische surveillance en hoe de huidige wetgeving ons onvoldoende beschermt.
Ook de Gemeente Amsterdam vraagt zich af hoe om te gaan met technologische ontwikkelingen in de openbare ruimte. Lees hier het artikel 'Voorbij de hype: Waardevolle technologie in Amsterdam' voor meer informatie.
Op steeds meer plekken in de samenleving worden kenmerken van het lichaam en het gedrag, zoals gezichten, stemmen en emoties, digitaal verzameld en verwerkt. Het gaat om intieme gegevens die gevoelige informatie kunnen blootleggen, bijvoorbeeld over iemands gezondheid, of waarmee iemand op afstand te identifi‐ ceren is. In deze bijdrage richten we ons op biometrische toepassingen in de publieke sector en publieke ruimte. We laten zien dat met het groeiende aantal toepassingen het risico ontstaat dat fundamentele burgerrechten onvoldoende worden gewaarborgd. We betogen dat deze risico’s dermate groot zijn dat extra wettelijke bescherming nodig is. We pleiten voor een wettelijk verbod op het gebruik van biometrische gegevens voor het identificeren van personen in de publieke ruimte en een vergunningsplicht voor gevallen waarin gebruik van de technologie voor verificatie op zijn plaats kan zijn.
Bron: Gerritsen, J., Hamer, J., Kool, L., & Verhoef, P. 2020. Beter beschermd tegen biometrie. Rathenau Instituut. doi: 10.5553/BenM/138900692020047004011
MSc Thesis VU - Facial recognition technology in public spaces
Municipalities have two tasks which might increasingly be in conflict due to the introduction of facial recognition technology. At the one hand municipalities should ensure public security and at the other hand municipalities should protect the privacy of individual citizens (Rathenau, 2017). Consequently, the research question is: How could municipalities implement facial recognition systems in in public spaces and consequently cope with the tension between ensuring public security and protecting the privacy of individual citizens? This research shows that technical capabilities, with a focus on privacy by design exist. However, since facial recognition technology is not yet perfect, there will always be a violation of privacy; which is mainly due to the existence of false positives. The trade-off between public security and the privacy of individual citizens will not be as straightforward as expected due to the existence of both false negatives and false positives. There might be situations in which municipalities could justifiably invoke one of the legal exceptions of art. 9(2) General Data Protection Regulation (GDPR) or art. 29 GDPR Implementation Act (GDPR IA) in regard to processing biometric data. However, this research revealed that this will be difficult for municipalities. Additionally, ethical principles should be taken into account since municipalities (should) strive to become responsible digital cities and implementing facial recognition technology might compromise existing ethical principles. Concluding, currently the advice to municipalities is not to implement facial recognition technology in public spaces.
Bron: ten Cate, A. 2019. Facial recognition technology in public spaces: The technical, legal and ethical aspects concerning the implementation of facial recognition technology in public spaces and the potential trade-off between public security and the privacy of individual citizens. Vrije Universiteit, Gemeente Amsterdam.
Facial recognition: A solution in search of a problem?
“Be water”. This is the evocative and enigmatic phrase of the current mask-wearing protestors in Hong-Kong. It seems to represent the fight of citizens for the right to be shapeless and anonymous among the crowd, including when exercising the right to protest, versus surveillance by the state authorities.
It is undeniable that facial recognition, the biometric application used to identify or verify a person’s identity, has become increasingly present in many aspects of daily life. It is used for ‘tagging’ people on social media platforms and to unlock smart phones. In China it is used for airport check-in, for monitoring the attentiveness of pupils at school and even for dispensing paper in public latrines.
In the general absence of specific regulation so far, private companies and public bodies in both democracies and authoritarian states have been adopting this technology for a variety of uses. There is no consensus in society about the ethics of facial recognition, and doubts are growing as to its compliance with the law as well as its ethical sustainability over the long term.
The purposes that triggered the introduction of facial recognition may seem uncontroversial at a first sight: it seems unobjectionable to use it to verify a person’s identity against a presented facial image, such as at national borders including in the EU. It is another level of intrusion to use it to determine the identity of an unknown person by comparing her image against an extensive database of images of known individuals.
In your face
There appear to be two big drivers behind this trend.
Firstly, politicians react to a popular sense of insecurity or fear that associates the movements of foreigners across borders with crime and terrorism. Facial recognition presents itself as a force for efficient security, public order and border control. Facial recognition is a key component of the general surveillance apparatus deployed to control the Uighur population in Xinjiang, justified by the government on grounds of combating terrorism.
The second justification is the lure of avoiding physical and mental efforts - ‘convenience’: some people would prefer to be able to access to an area or a service without having to produce a document.
France aims to be the first European country to use such technology for granting a digital identity. Meanwhile the Swedish data protection authority recently imposed a fine on a school for testing facial recognition technology to track its students’ attendance. Although there was no great debate on facial recognition during the passage of negotiations on the GDPR and the law enforcement data protection directive, the legislation was designed so that it could adapt over time as technologies evolved.
Face/Off
The privacy and data protection issues with facial recognition, like all forms of data mining and surveillance, are quite straightforward.
First, EU data protection rules clearly cover the processing of biometric data, which includes facial images: ‘relating to the physical, physiological or behavioural characteristics of a natural person, which allow or confirm the unique identification of that natural person’ (GDPR Art. 2(14)). The GDPR generally forbids the processing of biometric data for uniquely identifying purposes unless one can rely on one of the ten exemptions listed in Art. 9(2).
Second, any interference in fundamental rights under the Article 52 of the Charter must be demonstrably necessary. The bar for this test becomes higher the deeper the interference. Is there any evidence yet that we need the technology at all? Are there really no other less intrusive means to achieve the same goal? Obviously, ‘efficiency’ and ‘convenience’ could not stand as sufficient.
Third, could there be a valid legal basis for the application of such technology given that it relies on the large-scale processing of sensitive data? Consent would need to be explicit as well as freely-given, informed and specific. Yet unquestionably a person cannot opt out, still less opt in, when they need access to public spaces that are covered by facial recognition surveillance. Under Article 9(2)(g) the national and EU legislators have the discretion to decide the cases where the use of this technology guarantees a proportionate and necessary interference with human rights.
Fourth, accountability and transparency. The deployment of this technology so far has been marked by obscurity. We basically don’t know how data is used by those who collect it, who has access and to whom it is sent, how long do they keep it, how a profile is formed and who is responsible at the end for the automated decision-making. Furthermore, it is almost impossible to trace the origin of the input data; facial recognition systems are fed by numerous images collected by the internet and social media without our permission. Consequently, anyone could become the victim of an algorithm’s cold testimony and be categorised (and more than likely discriminated) accordingly.
Finally, the compliance of the technology with principles like data minimisation and the data protection by design obligation is highly doubtful. Facial recognition technology has never been fully accurate, and this has serious consequences for individuals being falsely identified whether as criminals or otherwise. The goal of ‘accuracy’ implies a logic that irresistibly leads towards an endless collection of (sensitive) data to perfect an ultimately unperfectible algorithm. In fact, there will never be enough data to eliminate bias and the risk of false positives or false negatives.
Saving face
It would be a mistake, however, to focus only on privacy issues. This is fundamentally an ethical question for a democratic society.
A person’s face is a precious and fragile element her identity and sense of uniqueness. It will change in appearance over time and she might choose to obscure or to cosmetically change it - that is her basic freedom. Turning the human face into another object for measurement and categorisation by automated processes controlled by powerful companies and governments touches the right to human dignity - even without the threat of it being used as a tool for oppression by an authoritarian state.
Moreover, it tends to be tested on the poorest and most vulnerable in society, ethnic minorities, migrants and children.
Where combined with other publicly available information and the techniques of Big Data, it could obviously chill individual freedom of expression and association. In Hong Kong the face has become a focal point. The wearing of masks has been a reaction to the use of facial recognition and in turn has been prohibited under a new law.
Does my face look bothered?
It seems that facial recognition is being promoted as a solution for a problem that does not exist. That is why a number of jurisdictions around the world have moved to impose a moratorium on the use of the technology.
We need to assess not only the technology on its own merits, but also the likely direction of travel if it continues to be deployed more and more widely. The next stage will be pressure to adopt other forms of objectification of the human being, gait, emotions, brainwaves. Now is the moment for the EU, as it discusses the ethics of AI and the need for regulation, to determine whether- if ever - facial recognition technology can be permitted in a democratic society. If the answer is yes, only then do we turn questions of how and safeguards and accountability to be put in place.
Independent DPAs will be proactive in these discussions.