Algoritmes krijgen steeds meer invloed op overheidsbesluiten, van toeslagen tot belastingcontroles. Die digitale systemen kunnen, soms ongemerkt, zorgen voor onrechtvaardige behandeling en discriminatie van bepaalde mensen.
De Nederlandse wet verbiedt discriminatie door algoritmes, maar de huidige regels bieden nog geen volledige bescherming.
Het toeslagenschandaal bij de Belastingdienst liet zien hoe algoritmes mensen kunnen benadelen op basis van afkomst en nationaliteit. Duizenden ouders kregen onterecht het stempel ‘fraudeur’ omdat het systeem hun achtergrond als risicofactor zag.
Dit leidde tot financiële ellende, huisuitzettingen en kapotte gezinnen. Het is nogal wat.
De juridische kaders rondom algoritmische discriminatie veranderen snel. Maar wat zegt de wet nu eigenlijk over profilering door algoritmes? En welke bescherming bestaat er?
Wat zijn algoritmes en hoe leidt profilering tot discriminatie?
Algoritmes zijn wiskundige regels die computers gebruiken om gegevens te verwerken en beslissingen te nemen. Deze AI-systemen maken automatisch profielen van mensen, maar dat kan leiden tot oneerlijke behandeling.
Het mechanisme achter automatische profilering
Een algoritme werkt eigenlijk als een recept met vaste stappen. Het verzamelt gegevens over mensen en zoekt patronen.
Het systeem gebruikt deze patronen om voorspellingen te doen over iemand. Kunstmatige intelligentie kan razendsnel enorme hoeveelheden data analyseren.
Het kijkt naar dingen als leeftijd, woonplaats, of inkomen. Op basis van die gegevens deelt het mensen in groepen in.
Het probleem ontstaat als het systeem verkeerde verbanden legt. Ziet het algoritme dat bepaalde groepen vaker problemen hebben? Dan behandelt het ineens iedereen uit die groep als een risico.
Dit proces gebeurt automatisch, zonder dat een mens even kritisch meekijkt. De computer maakt profielen zonder zich druk te maken om eerlijkheid.
Daar ontstaat dus etnisch profileren of andere vormen van discriminatie.
Voorbeelden van discriminerende algoritmes
De politie in Roermond gebruikte algoritmes om winkeldiefstal te voorkomen. Het systeem gaf punten aan auto’s op basis van eigenschappen.
Roemeense kentekens kregen bijvoorbeeld 10 punten, net als auto’s uit Duitsland. Bij een hoge score hield de politie de auto staande.
Hierdoor werden Oost-Europeanen en Roma veel vaker gecontroleerd, zonder echte aanleiding. Dat is gewoon discriminatie.
AI-systemen voor gezichtsherkenning werken ook niet altijd eerlijk. Sommige camera’s herkennen vrouwen met een donkere huidskleur slechter dan witte mannen.
Bij de kinderopvangtoeslagenaffaire ging het helemaal mis. Het algoritme markeerde ouders met een dubbele nationaliteit als verdacht.
Duizenden gezinnen kregen hierdoor enorme problemen. Het is bijna niet te bevatten.
Invloed van trainingsdata en bias
Algoritmes leren van bestaande gegevens. Als die trainingsdata vol vooroordelen zitten, neemt het systeem die gewoon over.
De mensen die deze systemen bouwen, nemen hun eigen blinde vlekken mee. Ze denken misschien dat hun keuzes objectief zijn, maar dat is vaak niet zo.
De kwaliteit van de data bepaalt hoe goed het algoritme werkt. Slechte of onvolledige gegevens? Dan trekt het systeem verkeerde conclusies.
Als sommige groepen nauwelijks voorkomen in de trainingsdata, werkt het systeem voor hen gewoon slechter. AI-systemen zijn dus allesbehalve neutraal.
Ze weerspiegelen de vooroordelen van de makers en de data waarop ze zijn getraind. Dat is een ongemakkelijke waarheid.
Juridische kaders: wat zegt de wet over algoritmische discriminatie?
Nederlandse wetten beschermen tegen discriminatie door algoritmes via gelijkebehandelingsregels. De AVG en de Autoriteit Persoonsgegevens waken over privacy.
Relevante Nederlandse wetgeving
De Algemene wet gelijke behandeling is de basis voor bescherming tegen algoritmische discriminatie. Deze wet verbiedt onderscheid op grond van:
- Ras en afkomst
- Godsdienst en levensovertuiging
- Geslacht en seksuele gerichtheid
- Nationaliteit en burgerlijke staat
Het College voor de Rechten van de Mens houdt toezicht op discriminatie en doet uitspraken over algoritmes die mensen ongelijk behandelen.
Ze kunnen onderzoeken of overheidsalgoritmes discrimineren. De Wet gelijke behandeling op grond van handicap of chronische ziekte beschermt mensen met beperkingen tegen algoritmische uitsluiting.
Dit geldt bij werk, onderwijs, wonen en openbaar vervoer. Specifieke wetten zoals de Wet gelijke behandeling van mannen en vrouwen zijn ook van toepassing als algoritmes onderscheid maken bij werk.
Gelijkebehandelingsrecht en indirect onderscheid
Indirect onderscheid ontstaat als algoritmes neutraal lijken, maar sommige groepen toch benadelen. Dat is lastig te bewijzen, want de discriminatie zit verstopt in ingewikkelde berekeningen.
Algoritmes discrimineren bijvoorbeeld door:
- Historische data vol vooroordelen
- Proxy-discriminatie via kenmerken die samenhangen met beschermde eigenschappen
- Statistische correlaties die groepen uitsluiten
De wet vraagt om een objectieve rechtvaardiging voor verschillen in behandeling. Organisaties moeten aantonen dat hun algoritme noodzakelijk en proportioneel is.
Collectief procederen wordt steeds belangrijker, want individuele burgers kunnen nauwelijks bewijzen dat algoritmes discrimineren. Belangenorganisaties stappen nu vaker namens groepen naar de rechter.
Rol van mensenrechten
Artikel 1 van de Grondwet garandeert gelijke behandeling, ook bij algoritmische besluiten van de overheid. Overheidsinstellingen mogen dus geen discriminerende algoritmes gebruiken.
Het College voor de Rechten van de Mens bewaakt mensenrechten bij algoritmegebruik. Zij adviseren over risico’s en onderzoeken klachten over overheidsalgoritmes.
Europese mensenrechten zoals het recht op een eerlijk proces en op privacy gelden ook bij geautomatiseerde besluiten. Nederland moet die rechten beschermen tegen algoritmische schendingen.
De Algoritmeregister van de overheid moet zorgen voor transparantie, maar is nog niet verplicht.
Impact op privacy en persoonsgegevens
De Algemene Verordening Gegevensbescherming (AVG) regelt hoe algoritmes persoonsgegevens mogen gebruiken. Organisaties moeten een rechtmatige grondslag hebben en proportionaliteit aantonen.
De Autoriteit Persoonsgegevens (AP) houdt toezicht op privacyschendingen door algoritmes. Ze kunnen boetes uitdelen als organisaties gegevens onrechtmatig verwerken of discrimineren.
Privacyschendingen ontstaan als algoritmes:
- Gevoelige gegevens onrechtmatig verwerken
- Mensen profileren zonder geldige reden
- Geen transparantie bieden over automatische besluiten
Burgers hebben recht op uitleg over geautomatiseerde beslissingen die hen raken. De AP kan ingrijpen bij algoritmes die privacy en non-discriminatie schenden.
Toeslagenaffaire en praktijkvoorbeelden: de gevolgen van algoritmische discriminatie
In Nederland hebben discriminerende algoritmes geleid tot grote schandalen. Duizenden burgers zijn onterecht beschuldigd.
De toeslagenaffaire laat pijnlijk zien hoe algoritmes levens kunnen verwoesten.
De kinderopvangtoeslagzaak bij de Belastingdienst
De toeslagenaffaire bij de Belastingdienst is misschien wel het bekendste voorbeeld van algoritmische discriminatie in Nederland. Duizenden ouders kregen onterecht het stempel fraudeur bij de kinderopvangtoeslag.
Het algoritme van de Belastingdienst markeerde gezinnen als verdacht op basis van bepaalde kenmerken. Daardoor ontstond indirecte discriminatie, vooral bij mensen met een migratieachtergrond.
Families moesten enorme bedragen terugbetalen die ze niet schuldig waren. Veel gezinnen kwamen hierdoor in de problemen.
Sommigen verloren hun huis of gingen failliet. De gevolgen waren verwoestend: kinderen uit huis geplaatst, ouders hun baan kwijt door stress en financiële druk.
Fraudeopsporing en etnisch profileren
Etnisch profileren kwam op doordat algoritmes bepaalde eigenschappen aan frauderisico koppelden. Het systeem nam gegevens als nationaliteit en woonplaats mee als risicofactoren.
Bij DUO gebeurde eigenlijk hetzelfde met studiebeurzen. Studenten met een migratieachtergrond werden vaker verdacht van fraude.
Het algoritme vond het verdacht als uitwonende studenten dicht bij hun ouders woonden. Vooral studenten uit culturen waar kinderen langer thuis wonen, kregen hierdoor problemen.
In 2024 bood het kabinet excuses aan voor deze discriminerende praktijken bij de fraudeopsporing.
Gebruik van algoritmes door de politie
De politie zet algoritmes in voor risico-inschatting en opsporing. Dit kan makkelijk uitmonden in etnisch profileren bij controles.
Predictive policing-systemen voorspellen waar misdaad kan gebeuren. Met bevooroordeelde data houden ze discriminatie in stand.
Gezichtsherkenning door de politie levert ook problemen op. Deze technologie werkt slechter bij mensen met een donkere huidskleur.
Dat leidt sneller tot foute arrestaties. Het voelt soms alsof technologie bestaande vooroordelen gewoon doorzet.
Impact op burgerrechten en vertrouwen
Algoritmische discriminatie ondermijnt het vertrouwen in de overheid. Meer dan vier op de tien mensen staan negatief tegenover algoritmegebruik door de overheid.
Burgerrechten zoals gelijke behandeling en privacy raken onder druk. Mensen worden beoordeeld op kenmerken waar ze zelf niets aan kunnen doen.
Het recht op eerlijke behandeling verdwijnt als algoritmes vooroordelen automatiseren. Vaak kunnen burgers beslissingen niet eens aanvechten.
De Autoriteit Persoonsgegevens houdt toezicht op algoritmegebruik en discriminatie. Veel algoritmes zijn inmiddels stopgezet vanwege discriminatierisico’s.
Toezicht, handhaving en rol van de Autoriteit Persoonsgegevens
Sinds januari 2023 heeft de Autoriteit Persoonsgegevens een centrale rol in het toezicht op algoritmes. De AP werkt samen met andere toezichthouders om discriminatie en privacy-schendingen door algoritmes tegen te gaan.
Dit brengt wel nieuwe uitdagingen met zich mee. Het toezicht op technologie blijft een lastige klus.
Bevoegdheden van de AP
De AP kreeg uitgebreide bevoegdheden om toezicht te houden op organisaties die algoritmes gebruiken. Sinds 2023 coördineert de AP het algoritmetoezicht.
Onderzoeksbevoegdheden
- Organisaties onderzoeken die algoritmes inzetten voor profilering
- Documenten opvragen over de werking van algoritmes
- Ter plekke controles uitvoeren bij bedrijven en overheden
Handhavingsmaatregelen
De AP kan flinke sancties opleggen:
- Boetes tot miljoenen euro’s
- Verbod op bepaalde algoritmes
- Dwangsom bij niet-naleving
Voor profilering met grote gevolgen moet de organisatie een DPIA uitvoeren. Bij grootschalige profilering is een functionaris gegevensbescherming verplicht.
Samenwerking tussen toezichthouders
Meerdere organisaties houden toezicht op algoritmes. De AP coördineert deze samenwerking sinds januari 2023.
Nederlandse toezichthouders
- Autoriteit Consument en Markt (ACM) voor markttoezicht
- Inspectie Gezondheidszorg en Jeugd voor zorgalgoritmes
- Nederlandse Zorgautoriteit voor de zorgsector
- Autoriteit Financiële Markten voor financiële diensten
Europese samenwerking
De AP maakt deel uit van de European Data Protection Board (EDPB). Zo ontstaan er uniforme regels in de EU.
Toezichthouders delen informatie over risico’s en best practices. Ze stemmen handhaving af om dubbel werk te voorkomen.
Uitdagingen bij toezicht op algoritmes
Toezicht op algoritmes levert nieuwe problemen op. Algoritmes zijn vaak ingewikkeld en lastig te doorgronden voor toezichthouders.
Technische complexiteit
- Algoritmes werken vaak als ‘black box’
- Het is moeilijk te controleren hoe beslissingen ontstaan
- Discriminatie kan zich verstoppen in de code
Bewijs verzamelen
Discriminatie door algoritmes aantonen blijkt lastig. Organisaties zeggen vaak dat hun systemen objectief zijn.
Internationale aspecten
Veel algoritmes komen van buitenlandse bedrijven. Dat maakt handhaving ingewikkelder.
De AP moet samenwerken met toezichthouders in andere landen. De snelle ontwikkeling van AI zorgt ervoor dat de wet vaak achterloopt.
Toezichthouders moeten snel nieuwe kennis opdoen om bij te blijven.
Transparantie, verantwoording en mitigatie van risico’s
Organisaties moeten uitleggen hoe hun algoritmen werken en waar de risico’s voor discriminatie liggen. Het College voor de Rechten van de Mens heeft nieuwe regels gemaakt om oneerlijke behandeling te voorkomen.
Doorbreken van de ‘black box’ algoritmes
Veel algoritmen zijn een soort zwarte doos. Niemand weet precies hoe ze beslissingen nemen.
Dat zorgt voor grote problemen met discriminatie en privacy. Het Europees Hof van Justitie bepaalde in het Schufa-arrest dat organisaties moeten uitleggen hoe hun systemen werken.
Burgers mogen weten waarom een algoritme een bepaalde beslissing over hen neemt.
Organisaties moeten:
- Uitleggen welke gegevens ze gebruiken
- Laten zien hoe het algoritme tot een besluit komt
- Aangeven welke risico’s er zijn voor discriminatie
De AVG geeft burgers het recht op uitleg bij automatische besluitvorming. Dat geldt vooral bij beslissingen die grote gevolgen hebben.
Systematische selectie en uitlegbaarheid
Risicoprofilering betekent dat organisaties mensen selecteren voor controles. Het nieuwe Toetsingskader van het College helpt voorkomen dat dit discriminerend uitpakt.
De Koninklijke Marechaussee mag geen ‘ras’ meer gebruiken bij controles. De Dienst Uitvoering Onderwijs controleerde te vaak studenten met een migratieachtergrond.
ING blokkeerde betalingen vanwege niet-Nederlandse namen. Dat roept vragen op over de criteria.
Belangrijke regels zijn:
- Geen directe discriminatie op basis van huidskleur
- Voorkomen van indirecte discriminatie via neutrale criteria
- Regelmatige controle van de resultaten van algoritmen
Organisaties moeten hun risicoprofielen testen op discriminatie voor ze deze inzetten. Ze moeten ook nagaan of bepaalde groepen vaker worden geselecteerd.
Verantwoording door organisaties
Het College voor de Rechten van de Mens overlegt actief met organisaties over discriminatierisico’s. Ze maakten een praktische en een uitgebreide versie van het Toetsingskader.
Organisaties moeten kunnen aantonen dat hun algoritmen niet discrimineren. Ze moeten documenteren hoe ze discriminatie proberen te voorkomen.
Concrete stappen zijn:
- Regelmatig algoritmen testen op discriminatie
- Statistieken bijhouden per bevolkingsgroep
- Systemen aanpassen als er discriminatie wordt gevonden
- Medewerkers trainen over discriminatierisico’s
Banken, overheidsdiensten en andere organisaties die risicoprofilering gebruiken moeten met dit Toetsingskader aan de slag. Privacy en eerlijke behandeling horen centraal te staan bij het ontwerpen van algoritmen.
Toekomstige wet- en regelgeving en ethische kaders
Nieuwe wetten en ethische richtlijnen moeten discriminatie door algoritmes beter tegengaan. Europa en Nederland werken aan strengere regels voor AI-systemen die mensenrechten beschermen.
Ontwikkelingen binnen nationale en Europese initiatieven
De Europese AI-wet geldt vanaf 2025 volledig. Deze wet deelt AI-systemen in vier risicogroepen in.
Hoog-risico systemen krijgen strenge eisen:
- Transparantie over de werking
- Testen op discriminatie
- Menselijk toezicht
Nederland ontwikkelt eigen regels voor algoritmes van de overheid. Sinds 2020 maakt het Algoritmeregister overheidsalgoritmes openbaar.
De regering werkt aan een nieuwe wet voor toezicht op algoritmes. Die wet moet instanties verplichten om discriminatie te voorkomen.
Het College voor de Rechten van de Mens kreeg in januari 2025 nieuwe richtlijnen om dit te controleren.
Belangrijke veranderingen:
- Verplichte risicobeoordelingen
- Strengere controle op profilering
- Betere klachtprocedures
Betrekken van mensenrechten bij wetgeving
Mensenrechten krijgen een grotere rol in nieuwe algoritmewetten. Het recht op non-discriminatie staat centraal.
De nieuwe regels verplichten instanties tot mensenrechtentoetsen. Ze moeten vooraf checken of algoritmes grondrechten schenden.
Beschermde kenmerken blijven essentieel:
- Ras en etniciteit
- Geslacht en seksuele gerichtheid
- Religie en levensovertuiging
- Leeftijd en handicap
Het College voor de Rechten van de Mens krijgt meer bevoegdheden. Ze mogen onderzoek doen naar discriminerende algoritmes.
Ook kunnen ze boetes geven aan instanties die de regels overtreden. Burgers krijgen meer rechten.
Ze mogen vragen hoe algoritmes over hen beslissen. Ook kunnen ze bezwaar maken tegen automatische beslissingen.
Ethische richtlijnen voor AI en algoritmes
Ethische richtlijnen vullen wetten aan met praktische adviezen. Ze helpen organisaties om AI verantwoord te ontwikkelen.
Kernprincipes voor ethische AI:
- Rechtvaardigheid: Geen ongelijke behandeling
- Transparantie: Uitlegbare beslissingen
- Verantwoordelijkheid: Duidelijk eigenaarschap
- Privacy: Bescherming van persoonsgegevens
De Nederlandse AI-coalitie werkt aan sectorspecifieke richtlijnen. Banken, zorginstellingen en overheidsdiensten krijgen hun eigen ethische kaders.
Praktische maatregelen worden steeds belangrijker. Denk aan diversiteit in ontwikkelteams en regelmatige bias-testen.
Externe audits van algoritmes winnen aan terrein. Organisaties moeten nu zelfs algoritme-officers aanstellen.
Deze mensen houden in de gaten of AI-systemen ethisch functioneren. Het toezicht op algoritmes wordt zo steeds serieuzer.
Het Toetsingskader risicoprofilering van januari 2025 biedt concrete stappen. Instanties gebruiken dit om discriminatie te voorkomen bij kunstmatige intelligentie.
Veelgestelde Vragen
De Nederlandse wet stelt strikte eisen aan het gebruik van algoritmes voor profilering. Organisaties moeten discriminatie voorkomen en burgers hebben specifieke rechten bij geautomatiseerde besluitvorming.
Welke wettelijke regels gelden er voor het gebruik van profileringstechnieken?
De Algemene Verordening Gegevensbescherming (AVG) vormt het hoofdkader voor profilering in Nederland. Organisaties mogen alleen profileren onder vier voorwaarden.
Ze moeten uitdrukkelijke toestemming hebben van de betrokkene. Profilering is toegestaan als het nodig is voor een contract, wettelijk verplicht is, of noodzakelijk voor rechtmatige belangen.
Bij profilering met grote gevolgen gelden extra eisen. Organisaties moeten uitleggen waarom ze profileren en wat de gevolgen zijn.
Een verplichte Data Protection Impact Assessment (DPIA) hoort er altijd bij als je gaat profileren. Grootschalige profilering vraagt om een Functionaris Gegevensbescherming.
Hoe worden individuen beschermd tegen discriminatie door algoritmes volgens de Nederlandse wet?
Het College voor de Rechten van de Mens houdt toezicht op discriminatie door algoritmes. Burgers kunnen daar terecht met klachten over algoritmische discriminatie.
De overheid werkt aan regels om algoritmes wettelijk te controleren op discriminatie. Zo wil het kabinet willekeur en ongewenst onderscheid tegengaan.
Verschillende toezichthouders kijken mee bij het gebruik van algoritmes en AI. Rijksinspecties en markttoezichthouders spelen een belangrijke rol.
Burgers hebben recht op een menselijke blik bij geautomatiseerde besluiten. Ze mogen vragen om een nieuw besluit dat door een persoon wordt genomen.
Wat verstaat men onder ‘onrechtmatige discriminatie’ in de context van algoritmische besluitvorming?
Onrechtmatige discriminatie bij algoritmes betekent ongewenst onderscheid op basis van beschermde kenmerken. Afkomst, nationaliteit en andere persoonlijke eigenschappen mogen geen rol spelen.
De Belastingdienst gebruikte iemands afkomst om frauderisico in te schatten. Dat werd als discriminatie bestempeld omdat het verboden onderscheid maakte.
Algoritmes kunnen discrimineren zonder dat iemand dat wil. Ontwikkelaars en gebruikers moeten actief discriminerende effecten voorkomen.
Er bestaat onzekerheid over de precieze betekenis van discriminatie bij algoritmes. De politiek verwacht van uitvoeringsorganisaties nul procent discriminatie—maar is dat echt haalbaar?
Welke verplichtingen hebben bedrijven bij het implementeren van algoritmes voor profilering?
Bedrijven moeten een DPIA uitvoeren voordat ze aan profilering beginnen. Dit staat op de verplichte lijst van de Autoriteit Persoonsgegevens.
Ze moeten zorgen dat de gebruikte gegevens kloppen. Goede maatregelen ter bescherming van privacyrechten zijn verplicht.
Bij grootschalige profilering als kernactiviteit moet een Functionaris Gegevensbescherming worden aangesteld. Dit geldt vooral bij risico-inschattingen van mensen.
Bedrijven moeten voldoen aan alle andere AVG-eisen. Ze hebben een grondslag nodig voor gegevensverwerking en moeten data goed beveiligen.
Transparantie is verplicht bij profilering met grote gevolgen. Organisaties moeten uitleggen hoe algoritmes werken en welke impact ze hebben.
Hoe kan een persoon bezwaar maken tegen besluiten genomen op basis van profilering die als discriminerend worden ervaren?
Je kunt bezwaar maken bij het College voor de Rechten van de Mens. Dit college behandelt vragen en meldingen over algoritmes van de overheid.
Bij geautomatiseerde besluiten hebben mensen recht op menselijke tussenkomst. Ze kunnen een nieuw besluit vragen dat door een persoon wordt genomen.
Het College kan in specifieke gevallen onderzoeken of er sprake is van discriminatie. Ze beoordelen of algoritmes mensenrechten schenden.
Mensen hebben recht op uitleg over hoe algoritmes werken. Organisaties moeten open zijn over hun besluitvormingsprocessen.
Op welke manier houdt de Algemene verordening gegevensbescherming (AVG) rekening met algoritmische discriminatie?
De AVG stelt strikte voorwaarden aan profilering om discriminatie te voorkomen. Organisaties moeten altijd een rechtmatige grondslag hebben voor het verwerken van gegevens.
Bij profilering met grote gevolgen gelden extra waarborgen. Transparantie speelt hier een grote rol, net als het recht op menselijke tussenkomst.
Een verplichte DPIA helpt risico’s op discriminatie vroeg te signaleren. Organisaties horen maatregelen te nemen om deze risico’s te beperken, al is dat soms makkelijker gezegd dan gedaan.
De AVG schrijft voor dat gegevens nauwkeurig en actueel moeten zijn. Onjuiste data kunnen anders zomaar tot discriminerende uitkomsten leiden.
Nieuwe regels in de Digital Services Act verbieden profilering van kinderen. Profilering op basis van bijzondere persoonsgegevens voor reclamedoeleinden is ook niet toegestaan.
