Collection
(26)
AI and ethics
-
Collection
AI, Media and Democracy Lab
There cannot be a democracy without a healthy media landscape, there is no free media without a democracy, and the media cannot function without technology.
The AI, Media, and Democracy Lab is a collaboration between interdisciplinary groups to anticipate tomorrow’s issues and spread this knowledge. The lab is a consortium between AI technology for people, University of Amsterda,, Centre for Mathematics and Computer Science and Amsterdam University of Applied Sciences.
At the lab you can find a place: (1) To apply, test, challenge and translate the insights and results of multidisciplinary research into services. (2) For the (creative) imagination about the changes, and transformations, that AI and digital technologies will bring to the media and democracy. (3) To the important question of it what exactly means to make responsible use of AI in the media and democracy. And what legal, socio-technical and economic conditions are needed for this to function. (4) Support Dutch and other local media companies in creating customer experiences in (cross) media design. -
Article
Oration Infinity, Kaleidoscopy and Society: On reflections of AI
On December 15, 2023, Sennay Gherbreab, professor of Socially Intelligent AI, delivered his inaugural lecture 'Infinity, Kaleidoscopy and Society: On reflections of AI.' The world is increasingly turning to 'AI Safety' research and policy to ensure responsible development and deployment of AI. An important issue in the field of AI Safety is the value issue: aligning 'machine values' and 'human values', says Prof. Dr. Sennay Ghebreab in his inaugural lecture. Below you will find the links below to watch or read the inaugural lecture.
The fundamental problem, according to Ghebreab, is that AI inherits undesirable and contradictory human values. As a result, AI can cause harm despite, and sometimes even because of, the alignment of human and machine values. According to Ghebreab, to ensure that AI benefits society, a shift is necessary from human-machine coordination to human-human coordination with the help of AI. This is the only way out of the current unhealthy 'catch-22' relationship between society and AI.
Many metaphors have been used to describe AI, but according to Ghebreab, the glass mirror stands out as one of the most compelling and telling, due to the deep technological, philosophical and social associations that have evolved around it over the centuries. Like the glass mirror, AI has the potential to change society for the better, over time and space. However, this potential is at risk of being unfulfilled because AI is currently developed and deployed within selfish and self-perpetuating societies, driven by the 'ethics of the market'.
We must, Ghebreab argues, have the courage to think outside the box and adopt a perspective on AI that emphasizes inclusive engagement with the planet and its rich diversity of people, cultures and values. In this case, human-human value coordination must be given priority over human-machine value coordination. If this succeeds, an alternative route to more self-critical and self-aware societies, based on the 'ethics of life', is possible. -
Article
Unesco’s aanbeveling over de ethiek van kunstmatige intelligentie
De Unesco-Aanbeveling over de ethiek van kunstmatige intelligentie (AI) is een internationale overeenkomst tussen 193 landen, waaronder ook Nederland.
De Aanbeveling spoort overheden, organisaties, bedrijven en individuen aan om AI op een ethische manier te ontwerpen en gebruiken. Zo kan kunstmatige intelligentie bijdragen aan vrede, duurzaamheid, en de bescherming van mensenrechten.
AI wordt op veel terreinen over landsgrenzen heen ingezet. Het is belangrijk dat de hele wereldbevolking kan meedenken over hoe we kunstmatige intelligentie gebruiken.Uitgegeven door
Nederlandse Unesco Commissie
Prins Willem-Alexanderhof 20
2595 BE Den Haag
Contact
Nederlandse Unesco Commissie
T 070-3315484
info@unesco.nl
www.unesco.nl
Redactie
Jon Verriet (bewerking en vertaling),
Anne Diessner, Jeannine Hausmann,
Maximilian Müngersdorff, Davor OrlicDeze brochure is afkomstig van de website van Unesco.
-
Article
Welke stereotypen zijn verworteld in AI-taalmodellen?
Afhankelijk van hoe ze precies zijn gemaakt, kunnen AI-algoritmen onbedoeld stereotypen discrimineren of in stand houden. In een nieuwe studie beschrijven onderzoekers van de Universiteit van Amsterdam (UvA) een manier om erachter te komen welke stereotypen ingebakken zitten in AI-taalmodellen. Ze laten ook zien dat die stereotypen snel kunnen verschuiven als je de AI nieuwe gegevens voedt.
AI-modellen zijn echter maar zo goed als de data waarmee ze zijn getraind. En het is bijna onvermijdelijk dat de teksten die we de modellen voeren soms stereotypen bevatten, zowel positief als negatief. Allerlei stereotypen kunnen in taalmodellen terechtkomen: dat stiefmoeders gemeen zijn, academici pretentieus, Aziaten goed in wiskunde of Nederlanders gek op kaas. En als ze eenmaal in het model zitten, kunnen ze uiteindelijk worden verspreid en versterkt. Idealiter zou je op zijn minst willen weten welke stereotypen een taalmodel bevat. Maar hoe kom je daar achter?
Drie wetenschappers van de Universiteit van Amsterdam bedachten een reeks experimenten om die vraag te beantwoorden. Rochelle Choenni, Ekaterina Shutova en Robert van Rooij presenteerden hun werk op 7 november tijdens de internationale conferentie EMNLP 2021.Rochelle Choeni, Ekaterina Shutova and Robert van Rooij; Stepmothers are mean and academics are pretentious: What do pretrained language models learn about you? Presented at the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP2021), 7 November 2021.
-
Article
The Impact of AI on Jobs and Sexual Discrimination
Artificial intelligence has been applied more into occupations by companies and individuals. However, the effects within the benefits are both imaginable and unpredictable. Sexual discrimination in jobs is also a debatable topic. The purpose of this paper is to combine the topics of both AI and sexual discrimination and discuss their effects in the job field in the future. Automation, big data and the algorithm applied in the job field would be some of the points to discover.
To briefly summarize, automation is the use of machines and computers that reduces human intervention. Big data is a collection of data from various sources, it is related to AI because the more data input into AI the better it becomes. Since AI absorbs the information and learns from them. AI algorithm takes the data input and uses mathematics and logic to produce the output. Gender discrimination in AI not only reflects the pre-existing biases in the society, but it could also reinforce them through automation, hiring system and decision making. This paper is not totally against the use of AI but advocates that artificial intelligence should be used in a more careful, gender responsible way to reduce sexual discrimination in the job field.
Source: Huang, Z. 2021. The Impact of AI on Jobs and Sexual Discrimination. Advances in Social Science, Education and Humanities Research, volume 554.
-
Article
Selling black places on Airbnb
Airbnb has recently become a growing topic of both concern and interest for urban researchers, policymakers, and activists. Previous research has emphasized Airbnb’s economic impact and its role as a driver of residential gentrification, but Airbnb also fosters place entrepreneurs, geared to extract value from a global symbolic economy by marketing the urban frontier to a transna- tional middle class. This emphasizes the cultural impact of Airbnb on cities, and its power of symbolizing and communicating who belongs in specific places, responding to questions of class, gender, and ethnicity—and thereby potentially driving cultural displacement. Coming from this perspective, this paper uses computational critical discourse analysis to study how white and black hosts market black-majority neighborhoods in New York City on Airbnb, and how guests describe their consumption experience.
The analysis shows how white entrepreneurs attempt to attract guests through a form of colonial discourse: exoticizing difference, emphasizing foreignness, and treating communities as consumable experiences for an outside group. White visitors, in turn, consume these cultural symbols to decorate their own identities of touristic consumption, describing themselves in colonial tropes of brave white adventurers exploring uncharted territories: glorious conquests no longer over gold and ivory, but over sandwiches at a local bodega. This situates Airbnb’s marketing at the urban frontier in a longer history of colonialism and racialized expropriation.
Source: Törnberg, P., & Chiappini, L. 2020. Selling black places on Airbnb: Colonial discourse and the marking of black communities in New York City. Environment and Planning A: Economy and Space. https://doi.org/10.1177/0308518X19886321
Link to UvA
-
Article
Onvoorziene effecten van zelflerende algoritmen
Het rapport richt zich op mogelijke onvoorziene effecten van de inzet van (zelflerende) algoritmen door bedrijven en consumenten.
(Zelflerende) algoritmen worden ingezet om meerwaarde te leveren aan bedrijven, consumenten en de samenleving als geheel. Bij de toepassing van (zelflerende) algoritmen kunnen onvoorziene effecten optreden. De impact van deze onvoorziene effecten is, afhankelijk van de context en de aard van de toepassingen, potentieel groot. Dit onderzoek richt zich daarom op de vraag:
- Wat zijn mogelijke onvoorziene effecten van de inzet van (zelflerende) algoritmen door bedrijven en consumenten waarvan niet duidelijk is hoe zij tot een besluit komen en hoe kunnen deze effecten geïdentificeerd, gewogen en indien ongewenst gemitigeerd worden?
Bron: Rijksoverheid - Onvoorziene effecten van zelflerende algoritmen
-
Article
Facial recognition: A solution in search of a problem?
“Be water”. This is the evocative and enigmatic phrase of the current mask-wearing protestors in Hong-Kong. It seems to represent the fight of citizens for the right to be shapeless and anonymous among the crowd, including when exercising the right to protest, versus surveillance by the state authorities.
It is undeniable that facial recognition, the biometric application used to identify or verify a person’s identity, has become increasingly present in many aspects of daily life. It is used for ‘tagging’ people on social media platforms and to unlock smart phones. In China it is used for airport check-in, for monitoring the attentiveness of pupils at school and even for dispensing paper in public latrines.
In the general absence of specific regulation so far, private companies and public bodies in both democracies and authoritarian states have been adopting this technology for a variety of uses. There is no consensus in society about the ethics of facial recognition, and doubts are growing as to its compliance with the law as well as its ethical sustainability over the long term.
The purposes that triggered the introduction of facial recognition may seem uncontroversial at a first sight: it seems unobjectionable to use it to verify a person’s identity against a presented facial image, such as at national borders including in the EU. It is another level of intrusion to use it to determine the identity of an unknown person by comparing her image against an extensive database of images of known individuals.
In your face
There appear to be two big drivers behind this trend.
Firstly, politicians react to a popular sense of insecurity or fear that associates the movements of foreigners across borders with crime and terrorism. Facial recognition presents itself as a force for efficient security, public order and border control. Facial recognition is a key component of the general surveillance apparatus deployed to control the Uighur population in Xinjiang, justified by the government on grounds of combating terrorism.
The second justification is the lure of avoiding physical and mental efforts - ‘convenience’: some people would prefer to be able to access to an area or a service without having to produce a document.
France aims to be the first European country to use such technology for granting a digital identity. Meanwhile the Swedish data protection authority recently imposed a fine on a school for testing facial recognition technology to track its students’ attendance.
Although there was no great debate on facial recognition during the passage of negotiations on the GDPR and the law enforcement data protection directive, the legislation was designed so that it could adapt over time as technologies evolved.Face/Off
The privacy and data protection issues with facial recognition, like all forms of data mining and surveillance, are quite straightforward.
First, EU data protection rules clearly cover the processing of biometric data, which includes facial images: ‘relating to the physical, physiological or behavioural characteristics of a natural person, which allow or confirm the unique identification of that natural person’ (GDPR Art. 2(14)). The GDPR generally forbids the processing of biometric data for uniquely identifying purposes unless one can rely on one of the ten exemptions listed in Art. 9(2).
Second, any interference in fundamental rights under the Article 52 of the Charter must be demonstrably necessary. The bar for this test becomes higher the deeper the interference. Is there any evidence yet that we need the technology at all? Are there really no other less intrusive means to achieve the same goal? Obviously, ‘efficiency’ and ‘convenience’ could not stand as sufficient.
Third, could there be a valid legal basis for the application of such technology given that it relies on the large-scale processing of sensitive data? Consent would need to be explicit as well as freely-given, informed and specific. Yet unquestionably a person cannot opt out, still less opt in, when they need access to public spaces that are covered by facial recognition surveillance. Under Article 9(2)(g) the national and EU legislators have the discretion to decide the cases where the use of this technology guarantees a proportionate and necessary interference with human rights.
Fourth, accountability and transparency. The deployment of this technology so far has been marked by obscurity. We basically don’t know how data is used by those who collect it, who has access and to whom it is sent, how long do they keep it, how a profile is formed and who is responsible at the end for the automated decision-making. Furthermore, it is almost impossible to trace the origin of the input data; facial recognition systems are fed by numerous images collected by the internet and social media without our permission. Consequently, anyone could become the victim of an algorithm’s cold testimony and be categorised (and more than likely discriminated) accordingly.
Finally, the compliance of the technology with principles like data minimisation and the data protection by design obligation is highly doubtful. Facial recognition technology has never been fully accurate, and this has serious consequences for individuals being falsely identified whether as criminals or otherwise. The goal of ‘accuracy’ implies a logic that irresistibly leads towards an endless collection of (sensitive) data to perfect an ultimately unperfectible algorithm. In fact, there will never be enough data to eliminate bias and the risk of false positives or false negatives.
Saving face
It would be a mistake, however, to focus only on privacy issues. This is fundamentally an ethical question for a democratic society.
A person’s face is a precious and fragile element her identity and sense of uniqueness. It will change in appearance over time and she might choose to obscure or to cosmetically change it - that is her basic freedom. Turning the human face into another object for measurement and categorisation by automated processes controlled by powerful companies and governments touches the right to human dignity - even without the threat of it being used as a tool for oppression by an authoritarian state.
Moreover, it tends to be tested on the poorest and most vulnerable in society, ethnic minorities, migrants and children.
Where combined with other publicly available information and the techniques of Big Data, it could obviously chill individual freedom of expression and association. In Hong Kong the face has become a focal point. The wearing of masks has been a reaction to the use of facial recognition and in turn has been prohibited under a new law.
Does my face look bothered?
It seems that facial recognition is being promoted as a solution for a problem that does not exist. That is why a number of jurisdictions around the world have moved to impose a moratorium on the use of the technology.
We need to assess not only the technology on its own merits, but also the likely direction of travel if it continues to be deployed more and more widely. The next stage will be pressure to adopt other forms of objectification of the human being, gait, emotions, brainwaves. Now is the moment for the EU, as it discusses the ethics of AI and the need for regulation, to determine whether- if ever - facial recognition technology can be permitted in a democratic society. If the answer is yes, only then do we turn questions of how and safeguards and accountability to be put in place.
Independent DPAs will be proactive in these discussions.
-
Article
MSc Thesis VU - Facial recognition technology in public spaces
Municipalities have two tasks which might increasingly be in conflict due to the introduction of facial recognition technology. At the one hand municipalities should ensure public security and at the other hand municipalities should protect the privacy of individual citizens (Rathenau, 2017). Consequently, the research question is: How could municipalities implement facial recognition systems in in public spaces and consequently cope with the tension between ensuring public security and protecting the privacy of individual citizens? This research shows that technical capabilities, with a focus on privacy by design exist. However, since facial recognition technology is not yet perfect, there will always be a violation of privacy; which is mainly due to the existence of false positives. The trade-off between public security and the privacy of individual citizens will not be as straightforward as expected due to the existence of both false negatives and false positives. There might be situations in which municipalities could justifiably invoke one of the legal exceptions of art. 9(2) General Data Protection Regulation (GDPR) or art. 29 GDPR Implementation Act (GDPR IA) in regard to processing biometric data. However, this research revealed that this will be difficult for municipalities. Additionally, ethical principles should be taken into account since municipalities (should) strive to become responsible digital cities and implementing facial recognition technology might compromise existing ethical principles. Concluding, currently the advice to municipalities is not to implement facial recognition technology in public spaces.
Bron: ten Cate, A. 2019. Facial recognition technology in public spaces: The technical, legal and ethical aspects concerning the implementation of facial recognition technology in public spaces and the potential trade-off between public security and the privacy of individual citizens. Vrije Universiteit, Gemeente Amsterdam.
-
Article
Gezichtsherkenning
In het FieldLab Technologie en Data werkt de gemeente Amsterdam samen met Nationale Politie, TNO en de Johan Cruijff ArenA aan projecten die voor elk van de partijen nuttig zijn. Eén van die projecten is het maken van een demonstrator van (meer-)privacy-compliant gezichtsherkenning.
Hoe werkt het? Wat doet de Politie of het bedrijfsleven hier mee, maar bovenal wat zijn jouw rechten en vragen over dit onderwerp?
Moderator Servaz van Berkum bespreekt dit met de experts en beantwoord vragen van de kijkers.Opgenomen in Pakhuis de Zwijger volgt een 1,5 uur durend diepgaand open dialoog met experts: Mark Wiebes (Innovatiemanager Nationale Politie), Jeroen van Rest (Expert Nationale Veiligheid TNO), Thomas Attema (Cryptograaf TNO) en Martijntje Smits (Technisch Filosofe UU).
Bekijk de webinar hier terug:
Looptijd
2019 - sep 2022
-
Article
Mensgerichte Artificiële Intelligentie
Artificiële Intelligentie (AI) is zonder enige twijfel de meest invloedrijke technologie van dit moment. Van de rechtspraak tot het onderwijs, van de zorg tot het openbaar bestuur, en van ons dagelijks internetgebruik tot de journalistiek: overal in de samenleving spelen algoritmes een steeds grotere rol in ons doen en laten. Die invloed wordt zowel bejubeld als gevreesd. AI kan een positieve invloed hebben op de maatschappij en de economie, maar heeft ook een keerzijde. Zitten er geen vooroordelen ingebakken in algoritmes en data, en wordt er niemand buitengesloten? Kunnen mensen nog wel overzien hoe AI systemen werken, en verantwoordelijkheid nemen voor beslissingen die ze nemen op basis van AI?
Artificiële Intelligentie (AI) is zonder enige twijfel de meest invloedrijke technologie van dit moment. Van de rechtspraak tot het onderwijs, van de zorg tot het openbaar bestuur, en van ons dagelijks internetgebruik tot de journalistiek: overal in de samenleving spelen algoritmes een steeds grotere rol in ons doen en laten. Die invloed wordt zowel bejubeld als gevreesd. AI kan een positieve invloed hebben op de maatschappij en de economie, maar heeft ook een keerzijde. Zitten er geen vooroordelen ingebakken in algoritmes en data, en wordt er niemand buitengesloten? Kunnen mensen nog wel overzien hoe AI-systemen werken, en verantwoordelijkheid nemen voor beslissingen die ze nemen op basis van AI?
Deze grote impact van AI op mens en maatschappij brengt een bijzondere verantwoordelijkheid met zich mee. Zowel voor de ontwerpers en ontwikkelaars van AI-systemen als voor de toepassers en gebruikers ervan. Hoe kunnen we AI-systemen verantwoord ontwerpen? Hoe kunnen we bepalen of deze systemen verantwoorde data gebruiken? En hoe kunnen we ze op een goede manier maatschappelijk inbedden en gebruiken? Het belang van deze vragen wordt breed herkend en in 2019 was er bijna geen branche, regering, bedrijf dat niet een ethische code had opgesteld. Het jaar 2019 is de boeken al ingegaan als het jaar van de AI-ethiek.
Ook in de internationale verhoudingen is het streven naar ‘verantwoorde AI’ van cruciaal belang. In de mondiale concurrentiestrijd profileert Europa zich immers steeds nadrukkelijker als ‘derde weg’, naast de kapitalistische benadering van ‘Big Tech’ in het Westen en de centralistische benadering van staatscontrole in het Oosten. In deze derde weg staat de mens centraal. Niet alleen commerciële belangen van bedrijven of de behoefte van de staat om de samenleving te kunnen sturen vormen hier de drijvende kracht, maar de ambitie om AI te verbinden met menselijke waarden. Mensgerichte AI als de derde weg, een weg die Oost en West met elkaar verbindt, en AI ten dienste van de gehele mensheid wil stellen.
Nederland heeft de potentie om een kernspeler te zijn in deze derde weg. Het wetenschappelijk onderzoek op AI-gebied is van hoog niveau en Nederland kent veel succesvolle AI-gerelateerde bedrijven. Het poldermodel van de Nederlandse economie vormt bovendien een uitstekende basis om overheid, wetenschap, bedrijfsleven en de samenleving met elkaar te verbinden. Daarnaast heeft het Nederlandse onderzoek op het gebied van Maatschappelijk Verantwoord Innoveren (MVI) en de ethiek van technologie een mondiale toppositie. In de Nederlandse aanpak wordt ethiek sterk verbonden met technologisch ontwerp: ethische reflectie mondt niet alleen uit in mooie beschouwingen maar slaat ook neer in de technologie zelf. Deze pragmatische aanpak biedt een solide basis om niet alleen ethisch te praten over AI, maar om AI ook ethisch vorm te geven. Daarbij gaat het niet alleen om de algoritmes, maar ook om de vraag hoe, waar en door wie ze worden toegepast. Gebeurt dat rechtvaardig, met respect en met solidariteit? Algoritmes worden bovendien altijd getraind met data. Eerlijke algoritmes vergen dan ook representatieve trainingsdata.
Het wordt dan ook tijd om deze unieke kracht van Nederland optimaal te benutten voor mensgerichte Artificiële Intelligentie. Om dat duidelijk te maken laten we hieronder allereerst zien op welke manier AI de samenleving aan het veranderen is en wat daarin de uitdagingen zijn: we zitten in de ‘vierde industriële revolutie’, die tot de ‘vijfde samenleving’ leidt. Wij pleiten vervolgens voor een benadering waarin AI-systemen worden ontwikkeld vanuit een ethisch verantwoord en maatschappelijk zinvol perspectief. Tot slot verbinden we die benadering met de rollen die alle partijen in de ‘quadrupel helix’ kunnen spelen – overheid, bedrijfsleven, wetenschap en de burger – om zodoende een duurzame en verantwoorde basis voor welvaart en welzijn te realiseren
Bron: Mensgerichte Artificiële Intelligentie. 2020. NL AIC
-
Article
Getting the future right
Artificial intelligence (AI) already plays a role in deciding what unemployment benefits someone gets, where a burglary is likely to take place, whether someone is at risk of cancer, or who sees that catchy advertisement for low mortgage rates. Its use keeps growing, presenting seemingly endless possibilities. But we need to make sure to fully uphold fundamental rights standards when using AI. This report presents concrete examples of how companies and public administrations in the EU are using, or trying to use, AI. It focuses on four core areas – social benefits, predictive policing, health services and targeted advertising.
This report presents concrete examples of how companies and public
administrations in the EU are using, or trying to use, AI. It discusses the
potential implications for fundamental rights and shows whether and how
those using AI are taking rights into account.
FRA interviewed just over a hundred public administration officials, private
company staff, as well as diverse experts – including from supervisory and
oversight authorities, non-governmental organisations and lawyers – who
variously work in the AI field.
Based on these interviews, the report analyses how fundamental rights are
taken into consideration when using or developing AI applications. It focuses
on four core areas – social benefits, predictive policing, health services and
targeted advertising. The AI uses differ in terms of how complex they are,
how much automation is involved, their potential impact on people, and how
widely they are being applied.The findings underscore that a lot of work lies ahead – for everyone.
-
Article
Discriminating systems
The diversity problems of the AI industry and the issues of bias in AI systems tend to be considered separately. In this report we suggest that they are two sides of the same problem: issues of discrimination in the workforce and in system building are deeply related. Moreover, tackling the challenges of bias within technical systems requires addressing workforce diversity, and vice versa. This research points to new ways of understanding the relationships between these complex problems, which can open up new pathways to redressing the current imbalances and harms.
Drawing on a thorough review of existing literature and current research working on issues of gender, race, class, and artificial intelligence, this pilot study examines the scale of AI’s current diversity crisis and possible paths forward. It represents the first stage of a multi-year project examining the intersection of gender, race and power in AI.West, S.M., Whittaker, M. and Crawford, K. (2019). Discriminating Systems: Gender, Race and Power in AI. AI Now Institute.
Retrieved from https://ainowinstitute.org/ discriminatingsystems.html.
-
Article
Infrastructural surveillance
This article proposes a new model of privacy: infrastructural surveillance. It departs from Agre’s classic distinction between surveillance and capture by examining the sociotechnical claims of connected and autonomous vehicles (CAVs) as requiring totalising surveillance of passengers and environment in order to operate. By doing so, it contributes to the ongoing debate on the commodification and platformisation of life, paying attention to the under-explored infrastructural requirements of certain digital technologies, rather than its business model. The article addresses four distinct characteristics of infrastructural surveillance: the aggregation of data, initialisation of protocols limiting possible actions, the prioritisation of distributed modes of governance and the enclosure of the driver in a personalised bubble of sovereign power. Ultimately, unlike previous modes of computer privacy in which activities are being constructed in real time from a set of institutionally standardised parts specified by a captured ontology, we observe the creation of new ontologies.
Gekker, A., & Hind, S. (2019). Infrastructural surveillance. New Media and Society.
DOI: https://doi.org/10.1177/1461444819879426 -
Article
Critically assessing AI tools and cultural data in digital humanities
While AI and big data are increasingly proving themselves as useful tools for humanities research, better techniques are needed to understand their limitations. In her PhD thesis, CWI researcher Myriam Traub calls for more multidisciplinary collaboration to attain deeper knowledge about this. Today she defends her thesis Measuring Tool Bias & Improving Data Quality for Digital Humanities Research.
As more and more of our cultural heritage becomes available in digital formats, humanities scholars are increasingly adding artificial intelligence (AI) and other computational techniques to their research methods. However, the question is just how valuable the insights gained from these tools are. It proves to be surprisingly difficult to assess whether such insights constitute a meaningful and interesting trend or merely reflect an error or bias in the tools and data used. In her PhD thesis, CWI researcher Myriam Traub explores ways to better understand such limitations.
Quality issues
The difficulty to grasp these limitations partly involves well-known quality issues in data, such as errors in optical character recognition (OCR). These errors are easy to spot by scholars, and are widely recognized as a problem in the community. But even for such obvious problems, little is known about how these errors impact AI methods used for research further ‘downstream’. It is entirely unclear how the outcome of culturally-oriented research projects is affected when research methods are provided with erroneous or biased data as input.
Lesser-known sources of bias
On the other hand, there are other sources of bias of which only a few users are aware. One example of this is algorithmic bias in full text search. This has been studied for more than a decade. But still, there is little awareness around this topic when it comes to using search tools in a non-commercial digital library. For these lesser-known sources of tool bias, it is of key importance to measure the amount of bias. Only then researchers can assess its impact on the research conducted with these tools.
Examining digital method use
Myriam Traub explored sources of bias in data and tools used by humanities scholars. She addresses a number of these in her PhD thesis, which she defends today at Utrecht University. For her research, Traub interviewed humanities scholars on their use of digital methods and the role of these methods in the overall research process. She studied retrievability bias in the search engine of the Dutch historic newspaper archive, the impact of partially fixing OCR errors by using human computation, and the potential of crowdsourcing on difficult tasks that are traditionally seen as limited to domain experts.
Better techniques
In particular, Traub shows that digital humanities should not only quest for better performing tools and higher quality data, but also pursue better techniques to measure limitations in tools and data. Also, Traub addresses that better techniques are needed for conveying the results of these computational measures to humanities scholars interested in the historical artefacts or events expressed in the data.
Multidisciplinary collaboration
Traub calls for more intense, multidisciplinary collaboration between humanities scholars, data custodians and tool developers to better understand each other’s assumptions, approaches and requirements. This could help build not only the technical research infrastructure humanities scholars need. It should also help create the human infrastructure where scholars need to be trained in the skills necessary to routinely make critical assessments of the fitness of digital data and tools available in the technical infrastructure.
Traub performed her research at CWI within the research project SealincMedia, which is part of the national COMMIT/ program. Research partners were, amongst others, the Dutch National Library and Rijksmuseum. -
Article
A Research Agenda for Hybrid Intelligence
We define hybrid intelligence (HI) as the combination of human and machine intelligence, augmenting human intellect and capabilities instead of replacing them and achieving goals that were unreachable by either humans or machines. HI is an important new research focus for artificial intelligence, and we set a research agenda for HI by formulating four challenges.
Over the course of history, the use of tools has played a crucial role in enabling human civilizations, cultures and economies: fire, the wheel, the printing press, the computer, and the Internet are just a few of humanity’s crucial innovations. Such tools have augmented human skills and thought to previously unachievable levels. Over the past several decades, artificial intelligence (AI) techniques, which allow humans to “scale up” by providing increasingly intelligent decision support, have become the latest addition to this toolset. Until now, however, these tools have been mostly used by experts. Hybrid intelligence (HI) can go well beyond this by creating systems that operate as mixed teams, where humans and machines cooperate synergistically, proactively, and purposefully to achieve shared goals, showing AI’s potential for amplifying instead of replacing human intelligence. This perspective on AI as HI is critical to our future understanding of AI as a way to augment human intellect as well as to our ability to apply intelligent systems in areas of crucial importance to society.
Z. Akata et al., "A Research Agenda for Hybrid Intelligence: Augmenting Human Intellect With Collaborative, Adaptive, Responsible, and Explainable Artificial Intelligence," in Computer, vol. 53, no. 8, pp. 18-28, Aug. 2020, doi: 10.1109/MC.2020.2996587
-
Article
Coronacrisis vraagt om debat over digitalisering - WRR
De coronacrisis gaat eerst en vooral over onze gezondheid. Inmiddels wordt het steeds duidelijker dat we ook voor een immens economisch en maatschappelijk vraagstuk staan. Toch is er nog een ander aspect waarom we ons deze crisis straks zullen herinneren: de enorme potentie van digitalisering en de vlucht die talloze online applicaties hebben genomen om het dagelijks leven aan de gang te houden. Veel meer nog dan voorheen valt op hoe diep wij met die technologie verweven zijn geraakt en wat voor mogelijkheden zij ons biedt in tijden van crisis. Alsof we een kijkje krijgen in wat zonder de coronacrisis vooral nog de toekomst zou zijn. Laten we dit fascinerende fenomeen eens nader bekijken. Wat valt er dan op? In ieder geval, zo betogen we hieronder, dat de recente vlucht in digitalisering kan leiden tot een te groot techno-optimisme. Dat de schaduwkanten van digitalisering veel verder reiken dan welbekende kwesties als privacy en security, hoe belangrijk die ook zijn. Zonder enige twijfel heeft digitalisering ons in deze crisis veel geboden en nog te bieden. Tegelijkertijd zien we op veel terreinen ook een verschraling van contacten, relaties en maatschappelijke processen en verhoudingen. Laten we daarom vooral ook dit moment benutten voor een breed maatschappelijk debat over het verantwoorde gebruik van digitale technologie. Want eenmaal langdurig geïmplementeerd, is het gebruik ervan nog heel moeilijk terug te draaien.
Lees het volledige artikel op de website van de WRR
Auteurs
Dit artikel is geschreven door:
- Haroon Sheikh, onderzoeker bij de Wetenschappelijke Raad voor het Regeringsbeleid (WRR)
- Corien Prins, voorzitter van de Wetenschappelijke Raad voor het Regeringsbeleid (WRR)
-
Article
Hoor wie het zegt
De afgelopen jaren is spraaktechnologie gemeengoed geworden. Vele chauffeurs geven mondelinge instructies aan hun auto’s en sommige mensen staan ’s ochtends zelfs op met de stem van een digitale spraakassistent. We gaan steeds vaker met computers een gesprek aan – en dat heeft consequenties. Niets is immers menselijker dan onze spraak. In onze gesprekken drukken we onszelf uit en ontwikkelen we omgangsvormen.
Het Rathenau Instituut heeft deze studie daarom gewijd aan spraaktechnologie. Hoe werkt spraaktechnologie, waarvoor wordt zij gebruikt en welke ethische vragen roept ze op? We zoeken uit hoe de overheid, bedrijven en burgers kunnen bijdragen aan spraaktechnologie die onze samenleving en sociale relaties verrijkt, en niet verschraalt.Computers kunnen steeds beter menselijke spraak herkennen, interpreteren en produceren. Dankzij de verbeterde spraaktechnologie is het mogelijk om met computers in gesprek te gaan, en kunnen gebruikers met hun stem de digitale wereld aansturen. Spraaktechnologie wordt al veel gebruikt in de auto en in huis, en bedrijven en organisaties experimenteren ermee in tal van andere domeinen, waaronder de zorg en de veiligheidssector. De groeiende toepassing van spraaktechnologie heeft belangrijke gevolgen voor de samenleving. Onze spraak vormt een essentieel onderdeel van wie we zijn als mens, en van onze sociale relaties. Ook bevatten onze gesprekken zeer gevoelige informatie – over onze identiteit, over de gesprekken die we voeren, en zelfs over onze gezondheid en ons humeur. Onze spraak verdient dus bescherming. Deze studie onderzoekt hoe de samenleving deze bescherming vorm kan geven.
-
Article
Verantwoord virtueel
Virtual reality (VR) staat op het punt van doorbreken bij het brede publiek. Om consumenten te beschermen tegen gezondheids- en andere effecten van VR, zoals misbruik van data, stellen wij vier maatregelen voor.
Virtual reality (VR) is een driedimensionale, computer-gegenereerde omgeving waarin gebruikers zich kunnen onderdompelen. Met behulp van VR-brillen en bijbehorende accessoires kunnen gebruikers vrijelijk door deze computer- gegenereerde omgeving bewegen en interactie aangaan met elkaar en objecten. Technologiegiganten zoals Facebook, Sony, Google, HTC en Microsoft investeerden de afgelopen jaren miljarden in deze technologie. Hierdoor heeft VR veel technische barrières overwonnen en liggen de apparaten die nu op de markt komen qua prijs, kwaliteit en gebruiksvriendelijkheid binnen handbereik van een miljoenenpubliek.
VR maakt nieuwe digitale ervaringen en vormen van communicatie mogelijk en is eerder vooral professioneel getest om een innovatieve bijdrage te leveren voor transport, communicatie, onderwijs, zorg, veiligheid en productontwikkeling. Vanuit de VR-sector is veel aandacht voor de mogelijkheden van deze nieuwe technologie, maar er is minder aandacht voor gerelateerde risico’s en ethische vraagstukken over consumententoepassingen van VR. Dat is de focus van deze verkenning. Zowel in Nederland als internationaal is weinig politieke en maatschappelijke discussie over VR-technologie (Kool et al., 2018) en bestaan er nog weinig beleidsmaatregelen, jurisprudentie of ethische codes voor VR. We zien wel een groeiend aantal wetenschappelijke publicaties waarin belangrijke maatschappelijke en ethische vraagstukken worden aangekaart. We analyseren om die reden in deze verkenning de bestaande literatuur en brengen hierin structuur aan. We presenteren een overzicht met de belangrijkste ethische en maatschappelijke vraagstukken die spelen rond VR in het consumentendomein. Ook signaleren we een groeiende kloof tussen het gebrek aan politieke aandacht en de noodzaak om kaders te ontwikkelen om VR-technologie maatschappelijk in te bedden. We definiëren acties om deze kloof te dichten. De verkenning kan als startpunt gelden voor een urgente publieke en politieke discussie over consumentengebruik van VR in Nederland en Europa.
-
Article
Data doorzien
Nederlandse provincies experimenteren volop met de inzet van data, algoritmen en nieuwe technologie. Zo worden bijvoorbeeld populaties zoogdieren gemonitord met live cams en automatische beeldherkenning. Digitalisering levert op verschillende vlakken nieuwe kennis op en stelt provincies in staat om burgers en maatschappelijke organisaties nauwer te betrekken bij het beleid op voor hen belangrijke thema’s.
Data en technologie digitaliseren de leefomgeving. Sensoren en digitale zenders monitoren verkeer en wijzen slimme auto’s de weg. In de natuur staan camera’s die automatisch dieren kunnen tellen. En burgers doen mee met het meten van luchtkwaliteit. Dat biedt nieuwe inzichten voor beleid, maar roept ook tal van maatschappelijke, ethische en politieke vragen op.
In dit essay verkennen we, op verzoek van Gedeputeerde Staten van de provincie Noord-Holland, deze vragen. Dit doen we voor zes kernopgaven: biodiversiteit, mobiliteit, lucht, water- en bodemkwaliteit, economische transitie, energietransitie en verstedelijking (‘wonen en werken’), op basis van desk research en zes interviews met vertegenwoordigers van de provincie Noord-Holland, Zuid-Holland en Zeeland.
-
Article
Mensenrechten in het robottijdperk
In dit rapport pleit het Rathenau Instituut voor een nieuw Europees verdrag met twee nieuwe mensenrechten. Ten eerste: het recht om niet gemeten, geanalyseerd of beïnvloed te worden. Ten tweede: het recht op betekenisvol menselijk contact.
Het gebruik van robots, kunstmatige intelligentie en virtual en augmented reality kan mensenrechten versterken, maar ook ondermijnen. Dit rapport onderzoekt deze uitdagingen, en maakt duidelijk dat om mensenrechten te beschermen onze juridische en ethische systemen vernieuwd moeten worden. Het Rathenau Instituut roept de Raad van Europa op een verdrag voor te bereiden dat mensenrechten en menselijke waardigheid in het robottijdperk beschermt. Daarmee stuit dit rapport aan bij de aanbeve- lingen uit de eerdere publicatie ‘Opwaarderen – Borgen van publieke waarden in de digitale samenleving’ van het Rathenau Instituut.
Bron: Van Est, R. & J.B.A. Gerritsen, with the assistance of L. Kool, Human rights in the robot age: Challenges arising from the use of robotics, artificial intelligence, and virtual and augmented reality – Expert report written for the Committee on Culture, Science, Education and Media of the Parliamentary Assembly of the Council of Europe (PACE), The Hague: Rathenau Instituut 2017
Overige bestanden: Bericht aan het Parlement en Nederlandse Samenvatting.
-
Article
Datasolidariteit voor gezondheid
‘Datasolidariteit’ is het beschikbaar stellen, door burgers, van hun gegevens uit medische dossiers voor (big) data-onderzoek waarmee de volksgezondheid gediend kan zijn. Aan datasolidariteit zitten allerlei haken en ogen. Het gaat immers om onderzoek met heel persoonlijke gegevens die normaliter tussen arts en patiënt blijven. We moeten rechten van patiënten beschermen, maar ook onderzoek naar de verbetering van de volksgezondheid faciliteren, en daarmee potentieel de gezondheidsbevordering van iedereen.
Met het onderzoek Datasolidariteit. Verbeterpunten met oog voor ieders belang wil het Rathenau Instituut bijdragen aan een geïnformeerd politiek en maatschappelijk gesprek over beter gebruik van bestaande digitale gegevens uit medische dossiers voor onderzoek. Met ‘beter gebruik’ bedoelen we: voor nuttig onderzoek dat de volksgezondheid werkelijk dient én rekening houdt met de fundamentele rechten van de patiënt. Maar ook die van de arts en onderzoeker. -
Article
Waardevol gebruik van menselijke DNA-data
Voorouders traceren, weten of er aanleg is voor een genetische aandoening of de dader van een misdrijf op het spoor komen. Dankzij de vooruitgang in DNA-technologie worden DNA-data op tal van terreinen benut. Het delen, combineren en gebruiken van die data neemt toe. Daarmee groeit ook het bewustzijn dat burgers voldoende beschermd moeten zijn binnen de keten van DNA-data, waarin vele spelers actief zijn en geld verdienen. In dit rapport geven we urgente aandachtspunten en oplossingsrichtingen om DNA-data waardevoller te gebruiken.
Het Rathenau Instituut wil met dit rapport urgente overwegingen geven voor waardevol gebruik van DNA-data van mensen. Met ‘waardevol gebruik van DNA- data’ bedoelen we: DNA-data benutten voor onderzoek of innovaties die de volksgezondheid of een ander maatschappelijk doel dienen én waarbij rekening wordt gehouden met publieke waarden.
In dit rapport gaan we dieper in op de technologische ontwikkelingen en de commercialisering en de internationalisering van de DNA-keten. We zetten de maatschappelijke doelen die beoogd worden met DNA-data op een rij en geven de uitdagingen en beperkingen die daarbij spelen. We analyseren de maatschappelijke en ethische kwesties rond de roep om steeds meer DNA-data, en met name in de context van commercialisering en internationalisering. We geven zeven belangrijke aandachtspunten, en dringen aan op het nemen van actie waarin volgens ons onderzoek oplossingen zijn gelegen. We ronden af met drie overkoepelende adviezen en een figuur die een overzicht geeft van de overwegingen en adviezen die we op basis van ons onderzoek aan de verschillende actoren geven. Voor ons onderzoek deden we deskresearch. Bronnen waren onder meer: literatuur, nieuwsberichten, rapporten van autoriteiten en de bestaande wettelijke kaders, zoals de Algemene verordening gegevensbescherming (AVG).
-
Article
Doelgericht digitaliseren
De overheid, het bedrijfsleven en maatschappelijke organisaties moeten de digitale samenleving zo inrichten dat mensen en waarden meer centraal komen te staan. Dan kan er een digitale samenleving ontstaan waarin niemand wordt uitgesloten. Dit rapport geeft vijf acties om waardengedreven te vernieuwen.
Kool, L., E. Dujso, en R. van Est (2018). Doelgericht digitaliseren – Hoe Nederland werkt aan een digitale transitie waarin mensen en waarden centraal staan. Den Haag: Rathenau Instituut.Bron: website Rathenau -
Article
Opwaarderen - Borgen van publieke waarden in de digitale samenleving
De verregaande digitalisering van de samenleving roept fundamentele ethische en maatschappelijke vraagstukken op. Overheid, bedrijfsleven en samenleving zijn nog niet adequaat uitgerust om met deze nieuwe vragen om te gaan. Daardoor komen belangrijke publieke waarden en mensenrechten als privacy, gelijke behandeling, autonomie en menselijke waardigheid onder druk te staan. Grote inspanningen in alle geledingen van de overheid en maatschappij zijn nodig om de digitalisering van de samenleving in goede banen te leiden. Maar we staan niet machteloos, met de juiste acties vanuit overheid, bedrijfsleven en maatschappij, kunnen we de digitale samenleving een verantwoorde opwaardering geven.
Motie Gerkens: onderzoek wenselijkheid commissie
Internetbots manipuleren het politieke debat voor de presidentiële verkiezingen in de Verenigde Staten, bankmedewerkers verliezen in groten getale hun baan nu computers hun taken overnemen en softwareprogramma’s helpen rechters de kans te berekenen dat een verdachte weer de fout in gaat, maar blijken ongemerkt te discrimineren. Digitale technologie reikt tot in de haarvaten van de samenleving en roept overal fundamentele maatschappelijke en ethische vragen op. Hoe kunnen we met deze vragen omgaan en de mogelijkheden die digitalisering de maatschappij biedt optimaal benutten? Het Rathenau Instituut deed op verzoek van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties en de Eerste Kamer onderzoek naar deze vraag. Dit naar aanleiding van een motie ingediend in de Eerste Kamer van het lid Gerkens (motie Gerkens 23 september 2014). De motie verzoekt de regering het Rathenau Instituut te vragen ‘de wenselijkheid van een commissie die kan adviseren over de ethische kant van de digitalisering van de samenleving’ te onderzoeken. De motie verwijst daarbij naar de opkomst van het Internet of Things dat zowel voor kansen als bedreigingen zorgt. Uit de motie blijkt dat bij de Kamer het gevoel leeft dat bij digitalisering belangrijke waarden in het geding zijn, aangezien zij niet alleen spreekt van technologische effecten van digitalisering, maar ook van ‘maatschappelijke, sociaal juridische en sociaal psychologische‘ effecten. Voorliggend onderzoek van het Rathenau Instituut ondersteunt die observatie van de Kamer.
Onderzoeksvragen
Het Rathenau Instituut onderzocht welke technologieën de komende jaren naar verwachting de digitale samenleving verder vormgeven, welke maatschappelijke en ethische uitdagingen die ontwikkelingen oproepen en in hoeverre de omgang van die uitdagingen ook institutioneel verankerd is (oftewel, de governance van ethische en maatschappelijke uitdagingen rond digitalisering). Het gaat daarbij om vragen als: welke kwesties pakken bestaande Nederlandse instituties wel of niet op, en op welke manier? Zijn er blinde vlekken ten aanzien van de omgang met (nieuwe) ethische en maatschappelijke kwesties? Welke rol kan een commissie daarin spelen?
Bron: Kool, L., J. Timmer, L. Royakkers en R. van Est, Opwaarderen - Borgen van publieke waarden in de digitale samenleving. Den Haag, Rathenau Instituut 2017.
Overige bestanden:
Rathenau Instituut - Acties voor een verantwoorde digitale samenleving: Bericht aan het Parlement
Beleidsbrief AI, publieke waarden en mensenrechten. 2019. Digitale Overheid.
-
Article
AI in de zorg
In de blogserie ‘Gezonde Bytes’ onderzoeken we hoe kunstmatige intelligentie (AI) verantwoord voor onze gezondheid wordt ingezet. In dit vijfde deel vertellen Heleen Miedema, Katja Haijkens en Govert Verhoog over de implicaties van toenemend gebruik van technologie in de zorg voor de opleiding van zorgprofessionals. Als opleidingsdirecteuren van de studies Technische Geneeskunde, Biomedische Technologie en Gezondheidswetenschappen aan de Universiteit Twente hechten zij er belang aan dat studenten een kritische, reflectieve houding ontwikkelingen ten opzichte van AI en andere technologie in de zorg.
In het kort
- Hoe wordt AI verantwoord voor onze gezondheid ingezet? Daarover gaat deze blogserie.
- De Universiteit Twente ziet het als haar verantwoordelijkheid dat studenten de maatschappelijke betekenis van een technologische ontwikkeling kunnen begrijpen om die adequaat te kunnen toepassen.
- Studenten moeten daarvoor een kritische, reflectieve houding ontwikkelen ten opzichte van technologie.
Terug naar de basis voor verantwoorde AI
Ontwikkelingen in de ICT hebben het mogelijk gemaakt om veel data te verzamelen en daar datasets mee te bouwen. AI is een volgende stap in de ICT-ontwikkeling. Automatische beslissystemen kunnen met AI patronen in de omvangrijke data ontdekken en zo beslissingen ondersteunen, bijvoorbeeld in de gezondheidszorg. Het is van belang dat je de context van de data begrijpt en de manier waarop de data zijn gegenereerd, om zo de uitkomsten beter te kunnen duiden.
Om AI verantwoord in de zorg in te zetten, is het nodig naar de basis terug te gaan: naar de onderliggende data en de manier waarop die verwerkt wordt. Kun je uit die data inderdaad de informatie halen die nodig is? Hoe wordt deze data opgeslagen, wat zijn de criteria daarvoor en met welk doel gebeurt dat? Ook een basale vraag is welke beslissingen AI zou moeten ondersteunen. Je kunt wel de juiste database hebben, maar wat voor beslissingen moeten computers daar dan mee maken? Welk belang dienen de automatische beslissystemen en aan wat voor ondersteuning is echt behoefte?
Het is belangrijk te beseffen dat niet één groep in de samenleving verantwoordelijk is voor de ontwikkeling van AI. Verschillende groepen mensen moeten vanuit verschillende disciplines betrokken worden bij technologische ontwikkelingen. Het gaat niet alleen om wat technologisch mogelijk is, maar ook om wat de samenleving met die technologie wil bereiken en hoe de toepassing ervan de gezondheidszorg kan verbeteren.
Lees hier het hele artikel
Bron: Rathenau Instituut - AI in de zorg: implicaties voor het onderwijs