Heeft elk veiligheidsprobleem wel een AI-oplossing nodig?

Het is niet voorspellen, het is extrapoleren

CAS verdeelde wijken in vakjes van 125 bij 125 meter. Tijdens de ochtendbriefing kon een agent te horen krijgen dat bepaalde rode vakjes een grotere kans op woninginbraak hadden. Agenten besloten dan of ze daar vaker gingen surveilleren. Zo kregen sommige wijken meer surveillance dan zonder het systeem.

Volgens Schuilenburg had CAS tal van fundamentele problemen. "Klassieke criminaliteit, zoals woninginbraak, daalt al jaren flink. Het systeem had dus weinig data om van te leren. Een stad als Los Angeles, waar dit soort software vandaan komt, beschikt over veel meer data dan bijvoorbeeld Dordrecht of Vlaardingen waar CAS ook werd ingezet.” Bovendien deed CAS niet aan echt voorspellen. ''Het is niet voorspellen, het is extrapoleren'', zegt hij. Het systeem trekt bestaande trends door.

Een hogere trefzekerheid dan die twee op de honderd correcte voorspellingen had het systeem volgens Schuilenburg niet vanzelf beter gemaakt. “De politie kampt met een capaciteitstekort. Wie agenten naar een rood vakje stuurt, haalt ze elders weg, en wat dat oplevert, blijft onbekend. Zo'n systeem staat dus nooit los van de praktijk eromheen. Ook richtte CAS zich op klassieke criminaliteit, terwijl nu vooral cyber en AI-criminaliteit toenemen.”

Mag het? Een nuance bij discriminatie

Of iets ‘mag’, is nog niet zo makkelijk te bepalen en is niet de enige vraag die moet worden beantwoord. Uit het onderzoek van de Algemene Rekenkamer blijkt dat bij CAS onder meer controle op mogelijke vooringenomenheid ontbrak, en dat historische data vertekend kunnen zijn, bijvoorbeeld als bepaalde wijken in het verleden intensiever zijn gecontroleerd, waardoor voorspellingen scheef kunnen uitpakken. De interne adviescommissie van de politie kwam tot een vergelijkbare conclusie en gaf het discriminatierisico van CAS in 2025 de score ‘hoog’, wat betekent dat het risico op onwenselijke, discriminerende uitkomsten voor bepaalde groepen of wijken volgens de commissie aanzienlijk was.

Schuilenburg voegt daar een nuance aan toe. Volgens hem probeerde de politie CAS wel ethisch te ontwikkelen en heeft ze gegevens die tot indirecte discriminatie konden leiden, zoals persoonlijke data en het gemiddelde inkomens- of opleidingsniveau van een buurt, eruit gehaald. Daarin verschilt CAS volgens hem van de bekende voorspellende systemen in de Verenigde Staten.

Willen we het? Eerst vragen of AI nodig is

Schuilenburg stelt drie vragen. ''Het hele vertoog rondom AI en veiligheid draait nog steeds sterk om de vraag kan het? Dat is een technische vraag. Ik ben veel meer geïnteresseerd in de vraag mag het? Dat is een juridische vraag. En willen we het? Dat is de ethische en sociale vraag.''

Bij die laatste vraag hoort een eerste check die hij ‘Target’ noemt, de eerste van zijn vier T's (Target, Tracked, Talked en Tested). Die toets vraagt of het probleem wel AI nodig heeft. Die vraag wordt volgens hem zelden gesteld, omdat we steeds vaker denken dat technologie elk probleem op kan lossen. ''Hebben we AI eigenlijk wel nodig?'' Zelfs als het antwoord ‘ja’ is, staat techniek nooit op zichzelf. ''Er is geen samenleving zonder technologie. Maar er is ook geen technologie zonder samenleving.'' Dat maakt alles socio-technologisch en dit vertrekpunt moet volgens Schuilenburg worden meegenomen bij het onderzoeken en evalueren van ieder AI-systeem. “Agenten bij de afdeling Intelligence hebben vaker een bureaufunctie, analyseren data en trekken aanwijzingen door naar de opsporing. Terwijl agenten op straat veel meer werken vanuit hun ervaring, intuïtie en contact met bewoners. Je moet dus ook kijken hoe en door wie een systeem in de praktijk wordt gebruikt.”

Impact: van bekritseren naar meedenken

De kritiek op CAS was er al lang. De Politieacademie vond in 2016 geen aanwijzing dat het systeem criminaliteit verminderde en de Rekenkamer signaleerde in 2022 tekortkomingen. Toch draaide het systeem nog jaren door. Schuilenburg noemt het een publiek geheim dat CAS de laatste jaren nauwelijks nog werd gebruikt. FTM schrijft dat niemand precies wist hoe vaak teams het inzetten. Hij ziet twee werkelijkheden. ''Waar concreet mee wordt gewerkt, is vaak veel minder dan alles wat op papier staat of met veel publiciteit naar buiten wordt gebracht.''

Dat toont volgens Schuilenburg de tekortkomingen van kritiek achteraf. Evalueren van AI en het kritisch bevragen blijft nodig, maar te vaak gebeurt er daarna weinig tot niets. De tool blijft bestaan of krijgt een andere functie. ''Als het systeem er eenmaal is, ben je als wetenschapper eigenlijk altijd te laat. Het gaat zelden meer weg.'' Hij verschoof zijn eigen aanpak daarom de afgelopen jaren bewust naar een andere richting. Kritiek op afstand had volgens hem weinig effect, dus probeert hij nu met zijn groep promovendi al vooraf, in de ontwikkelfase van een nieuwe technologie bijvoorbeeld, invloed uit te oefenen. Dat is volgens hem een volledig andere en nieuwe manier van werken, want een onderzoeker die een deels sturende rol op zich neemt, verliest ook iets van de klassieke academische distantie. ''Maar als je daar overheen durft te stappen, kun je echt iets betekenen.'' Daarom wil hij vroeg meedenken, ''omdat dan de keuzes worden gemaakt''. Zo is hij lid van de Wetenschappelijke Adviesraad Politie, die de korpschef adviseert, en denkt hij onder meer mee over de ethiektafels van de politie, waar technici, ethici, ervaringsdeskundigen en beleidsmakers nieuwe tools bespreken voordat deze worden ingezet.

Die rol vraagt om balans. Schuilenburg noemt zichzelf een ‘kritische vriend’. Wie meedenkt, loopt het risico dat een organisatie zegt dat de wetenschap al is geraadpleegd. Hij spreekt van ‘scientist washing’: het risico dat een organisatie de betrokkenheid van een wetenschapper gebruikt om een nieuw AI-systeem te legitimeren. Daarnaast werkt hij geregeld samen met onderzoeksjournalisten  en laat hij zijn promovendi naast een wetenschappelijk artikel met alle bijbehorende eisen, ook een beknopt beleidsadvies schrijven dat de vertaalslag naar de praktijk maakt. Voor het congres ‘Harmful Policing’, dat hij met zijn promovendi in november organiseert, wordt op een andere manier impact gecreëerd, onder meer met een documentaire en een tentoonstelling in het Nieuwe Instituut in Rotterdam. Zo probeert hij zowel de wetenschappelijke onderbouwing verder te brengen als direct invloed uit te oefenen op de praktijk.

Wat komt na CAS?

Schuilenburg vindt dat de politie complimenten verdient voor het stoppen met CAS. "Nederland voerde predictive policing als eerste land wereldwijd landelijk in, en onze buurlanden kijken goed mee. Als Nederland ermee stopt, is de gedachte, waarom zouden zij dan doorgaan?” Tegelijk had het volgens hem eerder gemoeten, want al geruime tijd is bekend dat veel voorspellende systemen inherent problematisch zijn.

De politie stopte de afgelopen jaren met meerdere voorspellende systemen, zoals na kritiek van Schuilenburg met RTI-G, een geweldsdetectietool in Den Haag, en nu CAS. Tegelijk investeert ze volgens Schuilenburg meer in instrumenten die realtime werken of terugkijken. Denk aan camera's die gezichten herkennen, detectie van pistool- en geweerschoten, herkenning van menselijke emoties, online gegevensvergaring en aan het doorzoeken van in beslag genomen data. Volgens hem worden met de toename van het aantal realtime instrumenten ook de bezwaren groter. “Bij CAS kon een agent nog besluiten om niet in te grijpen. Bij realtime is er veel minder bedenktijd. Of de toekomst daarmee vrolijker, beter en ethischer wordt, dat waag ik te betwijfelen.''

Voor Schuilenburg is de les niet dat voorspellende technologie op gebiedsniveau definitief moet worden verboden, zoals mensenrechtenorganisatie Amnesty International bepleit. Zijn overtuiging is dat een AI-systeem alleen verantwoord kan worden ingezet als vooraf duidelijk is wat de meerwaarde ervan is, of alles ethisch, juridisch en sociaal verantwoord gebeurd, en of er voortdurend wordt geëvalueerd of het ook doet wat het belooft. “Zolang dat niet gebeurt, blijft AI een belofte zonder bewijs.”