Op 21 april presenteerde de Europese Commissie haar langverwachte voorstel voor een AI-Verordening. Hierin is een centrale rol weggelegd voor de fundamentele rechten en vrijheden van EU-burgers. Voor de mate van regulering hanteert de Commissie een op risico gebaseerde aanpak.
In deze blog: een overzicht met de belangrijkste punten van de nieuwe AI-Verordening.
Met dit voorstel probeert de Commissie te komen tot een AI-Verordening, die – net als bijvoorbeeld de Algemene Verordening Gegevensbescherming (AVG) – rechtstreeks van toepassing zal zijn in alle Europese lidstaten. Zij geeft hiermee gevolg aan haar Witboek over kunstmatige intelligentie, dat zij in februari 2020 publiceerde. Daarin werd beoogd beleidsopties te formuleren voor de verwezenlijking van een tweeledig doel: de aanvaarding van AI bevorderen en de risico’s van bepaalde AI-toepassingen beperken. De voorgestelde AI-Verordening ziet op dat laatste.
Doelstellingen nieuwe AI-Verordening
Voor wat betreft de doelstellingen van de nieuwe verordening wordt in de eerste plaats beoogt dat AI-systemen in Europa veilig, robuust en betrouwbaar moeten zijn. In dit verband is een centrale rol weggelegd voor de fundamentele rechten en vrijheden van EU-burgers. Tegelijkertijd biedt een uniform regelgevend kader bedrijven de rechtszekerheid die nodig is om investeringen en innovatie in AI te faciliteren. Ook voorkomt het uiteenlopende regelgeving per lidstaat en daarmee marktfragmentatie.
Ruime definitie AI-systeem
Ten aanzien van ‘AI-systeem’ hanteert het voorstel een ruime definitie. De term is omwille van de toekomstbestendigheid zo neutraal mogelijk gehouden:
‘’Software die is ontwikkeld met behulp van een of meer van de in bijlage I genoemde AI-technieken (machine learning-technieken, statistische technieken en op logica en kennis gebaseerde technieken) en benaderingen, en die, voor een gegeven reeks door mensen gedefinieerde doelstellingen, uitkomsten kan genereren zoals inhoud, voorspellingen, aanbevelingen, of beslissingen die van invloed zijn op de omgevingen waarin zij interageren.”
Deze ruime definitie zal in de aankomende onderhandelingen over de inhoud van de AI-Verordening uitgebreid onderwerp van gesprek zijn. Wat aan deze definitie opvalt, is dat het heel moeilijk is om te bepalen wat nu precies de ondergrens van deze definitie is. Anders gezegd: hoe dom moet software zijn, om buiten de reikwijdte te vallen? De technieken die in de bijlage zijn opgenomen, zijn zeer breed geformuleerd. Vrijwel ieder IT-systeem maakt bijvoorbeeld gebruik van “op logica en kennis gebaseerde benaderingen”, of “statistische benaderingen”.
Reikwijdte
De ontwerpverordening is van toepassing wanneer sprake is van het in de handel brengen, in dienst stellen en het gebruik van deze AI-systemen, in de EU. Het trainen van AI valt hier overigens niet onder. Op systemen waarbij met persoonsgegevens wordt getraind, is de AVG van toepassing. De nieuwe regels zullen van toepassing zijn op:
- Aanbieders van binnen en buiten de EU die AI-systemen in de EU op de markt brengen;
- Gebruikers van AI-systemen, die zich in de EU bevinden;
- Aanbieders en gebruikers van AI-systemen die zich buiten de EU bevinden, , maar waarvan de geproduceerde output in de EU gebruikt wordt.
De Commissie kiest voor een zeer ruime territoriale werkingssfeer. Dat kan met name interessant worden wanneer het gaat om het hierboven als derde genoemde punt. Het is naar mijn mening ook zeer de vraag of dat in alle gevallen een use-case is die gereguleerd moet worden.
Een op risico gebaseerde aanpak
Het voorstel wordt gekenmerkt door een op risico gebaseerde aanpak. De Commissie maakt daarbij een onderscheid tussen AI-systemen en -toepassingen die een minimaal of laag risico, een hoog risico of een onaanvaardbaar risico inhouden. En daarbij geldt: hoe hoger het risico is, hoe strikter de regels.
AI met een minimaal tot geen risico
Het overgrote deel van AI die op dit moment in de EU wordt gebruikt, zijn systemen waarbij het risico voor burgers minimaal of onbestaand is. Voorbeelden van dit soort systemen zijn spamfilters en videospellen. De ontwerpverordening laat deze AI-systemen ongemoeid. Maar hoewel het voorstel het vrije gebruik van deze systemen dus toestaat, zijn hierop nog wel de gebruikelijke Europese regels voor productveiligheid van toepassing.
AI met een beperkt risico
AI met een beperkt risico heeft daarentegen betrekking op systemen die een specifiek risico op manipulatie inhouden. Het gaat in het voorstel van de Commissie om drie specifieke toepassingen:
- systemen die een interactie hebben met mensen, denk bijvoorbeeld aan chatbots;
- systemen die worden gebruikt om emoties te detecteren of iemand op basis van biometrische gegevens (sociaal) te categoriseren; en
- systemen die de inhoud van afbeeldingen, video’s en/of audio genereren of manipuleren. Met dat laatste worden deep fakes bedoeld.
Ter voorkoming van manipulatie geldt voor deze systemen een transparantieverplichting. Zo moet het voor gebruikers bijvoorbeeld duidelijk zijn wanneer zij met een chatbot te maken hebben.
Ook deepfakes moeten als zodanig herkenbaar zijn. Dat zou bijvoorbeeld betekent dat de gebruiker van een deepfake AI-systeem ervoor moet zorgen dat de output een watermerk krijgt.
De transparantie die de verordening beoogt te creëren, moet burgers in de EU in staat stellen om geïnformeerde keuzes te maken. Daarnaast worden AI-leveranciers aangemoedigd om zelf sectorale gedragscodes op te stellen.
Risicovolle AI
Risicovolle AI-systemen zijn aan strenge eisen onderworpen. De Verordening hanteert daarvoor de term hoogrisico AI-systeem.
In de eerste plaats zijn dit de AI-systemen zoals opgenomen onder bijlage II van de verordening. Deze systemen vallen onder sectorale EU-wetgeving. Ook de veiligheidscomponenten van dergelijke systemen worden als hoogrisico AI-systeem aangemerkt.
In de tweede plaats omvat deze categorie systemen die een hoog risico voor de gezondheid, veiligheid of grondrechten van EU-burgers met zich meebrengen. In grote lijnen zijn dit systemen die verband houden met:
- Beheer en exploitatie van kritieke infrastructuurnetwerken, zoals het elektriciteitsnet;
- Onderwijs, bijvoorbeeld systemen die worden ingezet voor het beoordelen of toelaten van studenten;
- Arbeidsmarkt, zoals de inzet van AI voor recruitment of het screenen van personeel;
- Essentiële publieke en private diensten, zoals het gebruik van AI voor de beoordeling van iemands kredietwaardigheid;
- Ordehandhaving, zoals voorspellende politiesystemen;
- Migratie, asiel en grenscontrole, zoals het gebruik van AI in een onderzoek naar de ontvankelijkheid van een asielaanvraag;
- Justitie, bijvoorbeeld systemen die een rechterlijke instantie bijstaan bij het interpreteren van feiten;
- Biometrische identificatie van natuurlijke personen in real time of op afstand, zoals gezichtsherkenning of vingerafdruktechnologie. Van dit soort AI-systemen zijn bepaalde vormen ook verboden.
Voorschriften aanbieders van risicovolle AI
Deze risicovolle systemen zijn toegestaan op de Europese markt, mits ze van tevoren aan een flinke set eisen en verplichtingen voldoen. De algemene vereisten hebben betrekking op (hoofdstuk 2):
- compliance en adequaat risicobeheer;
- automatische gegenereerde logbestanden van het systeem;
- kwaliteit van de data;
- gedetailleerde documentatie;
- transparantie;
- voldoende menselijk toezicht;
- hoog niveau van robuustheid, beveiliging en weerbaarheid van systemen.
Hierbij valt op dat de AI-Verordening het belang van menselijke tussenkomst benadrukt. Het feit dat natuurlijke personen de controle en toezicht over het functioneren van AI-systemen behouden wordt zelfs noodzakelijk geacht.
Verplichtingen aanbieders van risicovolle AI
Daarnaast legt de nieuwe AI-Verordening aanbieders ook een aantal specifieke verplichtingen op. Importeurs, distributeurs en vertegenwoordigers van buitenlandse bedrijven moeten hier ook aan voldoen. Aanbieders van AI-systemen met een hoog risico zijn gehouden tot het (hoofdstuk 3):
- opzetten en toepassen van een kwaliteitszorgsysteem;
- opstellen en bijhouden van technische documentatie;
- bewaren van de (door het AI-systeem) gegenereerde logbestanden;
- registreren van het AI-systeem in de (voor het publiek toegankelijke) EU-databank;
- opzetten van een monitoringsysteem (nadat het op de markt is gebracht);
- samenwerken met markttoezichtsautoriteiten;
- aanbrengen van een CE-markering (labelen);
- doorvoeren van een conformiteitsbeoordeling en ondertekenen van de conformiteitsverklaring.
Met de conformiteitsbeoordeling dienen aanbieders aan te tonen dat hun systeem aan alle eisen voldoet. Deze beoordeling heeft een geldigheidsduur van vijf jaar en wordt in de meeste gevallen uitgevoerd door de leverancier zelf. Dat geldt niet bij de biometrische identificatie van natuurlijke personen op afstand. Deze AI-systemen moeten worden onderworpen aan een conformiteitsbeoordeling door een derde partij. De systemen uit bijlage II (en de veiligheidscomponenten van dergelijke systemen) hebben hun eigen procedures in reeds bestaande EU-wetgeving.
Verplichtingen gebruikers van risicovolle AI
Verder legt de voorgestelde AI-Verordening ook specifieke verplichtingen op aan de gebruikers van deze systemen (artikel 29). Zo moeten gebruikers risicovolle AI-systemen volgens de gebruiksinstructie bedienen, dit gebruik monitoren en zorg dragen voor het menselijk toezicht op dat gebruik. Ook zijn gebruikers verplicht om storingen en ernstige incidenten te melden bij de leverancier of distributeur. Bestaande wettelijke verplichtingen, zoals de AVG, zijn hierbij onverminderd van toepassing.
Uiteindelijk ligt de verantwoordelijkheid voor AI-systemen bij de persoon of instantie die het systeem aanbiedt. Het is de aanbieder die risico loopt en dit is dan ook degene die toezicht moet houden op de toeleveringsketen en kwaliteitscontroleprocedures.
Verboden AI met een onaanvaardbaar risico
In de lijst met verboden praktijken staan een beperkt aantal AI-systemen die onaanvaardbaar worden geacht en daarom verboden zijn. Het zijn systemen die stuk voor stuk een duidelijke bedreiging voor de veiligheid, bestaansmiddelen en rechten van EU-burgers vormen. Meer concreet gaat het om AI-systemen en -toepassingen die:
- de potentie hebben om menselijk gedrag te manipuleren en op die manier de vrije wil van gebruikers te beïnvloeden of omzeilen;
- social scoringdoor overheden mogelijk maken. Daarmee worden massasurveillancesystemen bedoeld. Dit zijn systemen die de betrouwbaarheid van mensen beoordelen op basis van hun sociale gedrag of persoonlijkheidskenmerken;
- real time biometrische identificatiesystemen. Daarbij moet het dan wel gaan om een systeem dat op afstand, in een openbare ruimte, en ten behoeve van de rechtshandhaving wordt gebruikt. Hier kunnen onder voorwaarden wel uitzonderingen op worden gemaakt.
Daarbij valt op dat de voorwaarden waaronder uitzonderingen gemaakt kunnen worden, niet bijzonder strikt zijn. Wanneer het gaat om de opsporing van delicten waarvoor een Europees arrestatiebevel gegeven kan worden, is de inzet van real time biometrische identificatiesystemen door rechtshandhaving wel toegestaan.
Handhaving nationale toezichtsinstanties
Het toezicht laat de Commissie aan nationale toezichtsinstanties over. In dit verband stelt zij de nationale markttoezichtautoriteiten voor, maar het is aan de lidstaten zelf om te bepalen welke toezichthouders er komen. Deze toezichthouders krijgen onder meer de bevoegdheid om boetes op te leggen. Verder stelt de Commissie een Europees comité voor kunstmatige intelligentie voor, waarin alle nationale toezichthouders zitting hebben. Dit comité zal de handhaving coördineren en de uitvoering en implementatie van regels faciliteren.
AI-totaalpakket
Naast de AI-Verordening presenteerde de Europese Commissie op 21 april ook het Coordinated Plan on Artificial Intelligence en een ontwerpverordening voor machineproducten. Dit AI-totaalpakket beoogt zowel innovatie aan te moedigen, als het vertrouwen in AI te verhogen. Ter ondersteuning van innovatie noemt de AI-Verordening zelf ook enkele initiatieven. Zo wordt het gebruik van zogenaamde regulatory sandboxes aangemoedigd. Dit zijn wettelijke vrijplaatsen om het ontwikkelen en testen van innovatieve AI-systemen te faciliteren. Daartoe moeten lidstaten kleinschalige aanbieders en gebruikers als eerste toegang geven.
De voorgestelde AI-Verordening is een primeur. Want nergens ter wereld bestaat regelgeving die zich specifiek op AI richt. De komende jaren zal dit nog wel even zo blijven. Het voorstel zal namelijk eerst nog beoordeeld moeten worden door de lidstaten en het Europese parlement.
