Digitale profilering leidt tot nieuwe vormen van benadeling

Met de technologische vooruitgang wordt van overheden verwacht dat zij hun burgers sneller en efficiënter van dienst zijn. Toch laten enkele voorbeelden uit de afgelopen jaren zien dat digitalisering niet altijd leidt tot meer vrijheden, maar soms juist nieuwe vormen van benadeling en discriminatie in de hand werkt.

Het recent gepubliceerde rapport van de Staatscommissie in Nederland heeft aangetoond dat het profileren van burgers door overheidsinstanties aan de hand van grote datasets en algoritmen ernstige nadelen met zich meebrengt. Er wordt met name opgemerkt dat datagestuurde classificaties op basis van etnische afkomst, migratieachtergrond of persoonlijke kenmerken het risico inhouden dat de sociale gelijkheid wordt aangetast.

Eigenlijk gaat het niet alleen om de technologie. Het belangrijkste probleem is met welke mentaliteit en welke controlemechanismen de technologie wordt gebruikt.

Het feit dat een burger niet weet op welke gronden hij of zij als ‘risicovol’ wordt aangemerkt, doet afbreuk aan het beginsel van de rechtsstaat. Een persoon die geen toegang heeft tot het digitale dossier dat over hem of haar is aangelegd en niet kan achterhalen hoe het algoritme werkt, komt terecht in een onzichtbaar bureaucratisch mechanisme.

Niet neutraal meer

Wat nog belangrijker is, is dat de gegevens waarop algoritmen zijn gebaseerd, ook vooroordelen en institutionele gewoonten uit het verleden kunnen bevatten. In een dergelijke situatie is technologie geen neutraal instrument meer; het kan veranderen in een systeem dat bestaande vormen van discriminatie reproduceert. Controlemaatregelen die zich vooral richten op migranten, asielzoekers en etnische minderheden, kunnen de weg vrijmaken voor percepties die vreemdelingenhaat in de samenleving voeden.

Na verloop van tijd worden mensen niet meer als individuen beoordeeld, maar op basis van de identiteiten die ze dragen. Dit benadeelt niet alleen bepaalde groepen, maar tast ook de vertrouwensrelatie tussen de staat en de burger aan.

Een ander probleem is de verantwoordingsplicht. Als er geen effectieve en transparante mechanismen zijn waar mensen die het slachtoffer zijn geworden van onjuiste gegevens, foutieve analyses of bevooroordeelde algoritmen een beroep op kunnen doen, wordt technologie geen instrument voor rechtvaardigheid, maar een middel voor bureaucratische discriminatie.

Vertrouwen staat en burger

De bestrijding van criminaliteit en fraude is natuurlijk belangrijk. Maar het streven naar veiligheid kan het categoriseren van mensen op basis van hun afkomst, naam of sociale achtergrond niet rechtvaardigen.

Het vertrouwen tussen de staat en de burger wordt niet opgebouwd in databases, maar in het gevoel van rechtvaardigheid. Dit is ook de grootste uitdaging van het digitale tijdperk: technologie in dienst stellen van de menselijke waardigheid, of de mens opsluiten in categorieën die door algoritmen worden bepaald?

Reacties