Navigatiemenu

Predictive policing

Laatst bijgewerkt op 756 dagen geleden door Hadewych

Smit e.a., Van predictive naar prescriptive policing; Verder dan vakjes voorspellen, TNO 2016

Volledig, helder en praktisch boekje. Het gaat over politiewerk maar is grotendeels direct toepasselijk voor inspecties.

Eerst wordt beschreven wat predictive policing is en wat de stand van de techniek is; daarna volgt welke uitdagingen dit oplevert voor de politie (inspectie); afgesloten wordt met een toelichting op de aanbevolen aanpak. Aan de hand van een eenvoudig model van politiewerk, handhaving en toezicht, wordt het gebruik van Big Data beschreven. Het model:

voorkomen – voorspellen – signaleren – detecteren – analyseren

Terwijl voorspellen vooral gaat over het weten waar, wanneer of wat er waarschijnlijk zal gaan plaatsvinden, gaat voorkomen over het wegnemen van de aanleiding, of het opwerpen van obstakels. Daarmee is er voor voorkomen kennis nodig over waarom iets zal gaan plaatsvinden. Analyse vormt dan ook een onmisbare input. Alleen door te bestuderen wat er in het verleden is gebeurd is het mogelijk om te bepalen welke aanwijzingen er waren die men had kunnen gebruiken om het te voorkomen, voorspellen of detecteren.

Prescriptive policing (datagedreven toezicht) voorspelt op basis van de kennis van de effecten van bepaalde interventies wat de effectiviteit van een bepaalde inzet van [politie]middelen zal zijn, gegeven een specifieke situatie.

Predictive policing (voorspellend toezicht) is geen nieuwe benadering. Analisten wijzen al langer waarschijnlijkheden/risico’s toe aan bepaalde incidenten/overtredingen. Beslissers gebruiken zulke waarschijnlijkheden vervolgens om middelen aan te sturen. Aanbevolen wordt om de aandacht niet te richten op verbetering van het systeem van risicovoorspellingen, maar om de focus te leggen op effectief gebruik van de voorspelde informatie, en wel zo dat het in de dagelijkse (inspectie)praktijk past. M.b.t. dat laatste: voorspellende technologie kan nooit het situationele bewustzijn, de creativiteit en sensitiviteit van de menselijke inspecteur vervangen. Het kan de mens wel ondersteunen met kennis, informatie en advies.

Belastinginspecteur Adri Sprokholt: ‘Automatisering kan juist bijdragen aan het werken met je Fingerspitzengefühl. Dat heb je en dat verdwijnt niet, de computer helpt juist om er beter gebruik van te maken.’

en: ‘Er is nu zo’n neurotische dwang om alles centraal aan te sturen zodat de professionaliteit van de medewerkers onvoldoende ruimte krijgt. Aan de onderkant van de organisatie zijn er daardoor te weinig mogelijkheden om zelfstandig en vooral passende oplossingen te creëren. Als je mensen binnen wilt houden, zul je als leiding professionele medewerkers veel meer zelfstandigheid moeten geven. Vooral jongeren gaan nu vaak na een paar jaar weg of zijn teleurgesteld in de voorgehouden beelden. Ik verwacht echter dat data-analyse en voortschrijdende automatisering  nieuwe kansen bieden voor zelfstandig mensenwerk.’

Algoritmen

Op basis van ervaringen in het verleden stel je vast hoe vaak een bepaald incident (bijvoorbeeld een overtreding) voorkomt in een bepaalde groep, een bepaald gebied, een bepaald proces of iets dergelijks: een eenvoudige relatie. Door de historische trends door te trekken naar de toekomst maak je de voorspelling over de mate waarin het incident zich in die groep voor zal doen.

De relatie kan worden verfijnd door factoren die erop van invloed zijn te wegen. Zo’n weging maak je op basis van statistische schattingen; de factoren die van invloed zijn op de relatie tussen groep en incident vormen een theorie en dat kan zijn gebaseerd op ervaringskennis of wetenschappelijk onderzoek.

Voorbeeld in het boek: “Het aantal inbraken in deze buurt is 0,257 keer de maximumtemperatuur, plus 1,56 keer het aantal inbraken vorige week, minus 0,46 keer het aantal inbraken normaal op een maandag, plus 0,12 keer het aantal inbraken in een naastliggende buurt vorige week.”

De theorie is hier dus dat het aantal inbraken in een bepaalde buurt (de relatie) verband houdt (correleert) met temperatuur (een factor), met het aantal inbraken in de afgelopen periode in die buurt (een factor), met de dag in de week (een factor), en met het aantal inbraken in een naastliggende buurt (een factor). De getallen en functies (zoveel keer, min zoveel, plus zoveel) zijn de wegingen die worden bepaald door statistische analyse van data uit het verleden.

Als een algoritme aangepast wordt op basis van nieuwe data en feedback van inspecteurs kan het tot accurater voorspellingen komen. Als de aanpassing ‘vanzelf’ gebeurt doordat de software zulk zelf-leren mogelijk maakt, gaat het om kunstmatige intelligentie of deep learning.

Hoewel er doorgaans gesproken wordt over ‘voorspellingen’ die algoritmen (zoals profielen) doen, gaat het eigenlijk om verwachtingen, gebaseerd op gemiddelden. Net zoals bij de weersverwachtingen gaat het om kansen en waarschijnlijkheden en kan het dus altijd gebeuren dat een ‘voorspelling’ niet uitkomt: fouten van de eerste en fouten van de tweede soort.

Aangezien een algoritme geformuleerd wordt op basis van statistische schattingen, is iets wat maar heel zelden voorkomt niet geschikt voor dergelijke analyse. Overigens is het niet zo dat er voor goede statistieken persé heel veel data nodig zijn – eenvoudige verbanden kunnen vaak al met een beperkt aantal gegevens worden aangetoond.

Misverstanden en zorgen

  • Predictive policing gaat niet over sneller boeven vangen (efficiënter werken) maar over het voorkómen dat er iets mis gaat (effectiever werken). Voor robots is dat te moeilijk; menselijke kennis en kunde zijn essentieel. Evidence-based policing biedt slechts een deel van het antwoord op de vraag wat je moet doen om de wereld veiliger te maken. Big Data helpt vooral bij het beantwoorden van de vraag: wat werkt waar en wanneer?
  • Als het gebruik van bevoegdheden mensenwerk blijft en controleerbaar door de rechter, blijft het risico van ingebouwde discriminatie bij Big Data, profiling, preventief overheidsoptreden, beperkt. Beperkt, maar niet afwezig. Datasets en de algoritmen die ermee rekenen zijn niet per definitie anoniem en onbevooroordeeld, ze zijn immers door mensen en menselijke interpretatie tot stand gekomen. Het risico van discriminatie neemt toe als algoritmen zo geavanceerd worden dat niemand meer begrijpt wat ze eigenlijk meten of op basis van welke kennis en wegingen ze tot voorspellingen komen. Maatschappij en wet zullen uiteindelijk eisen dat algoritmen volledig transparant zijn. Mensen hebben het recht te weten waarom ze staande worden gehouden of waarom ze aandacht van een inspectie krijgen.
  • Datagedreven werken is geen technologische maar een organisatorische uitdaging. De introductiestrategie van een nieuwe technologie is cruciaal. Pas als de [inspecteur] merkt dat het algoritme iets nuttigs doet zal hij/zij het accepteren en gebruiken. Het succes van predictive software hangt af van het type interventie dat er op wordt gebaseerd en van de sociale acceptatie.

Voor acceptatie en gebruik is een prettige interface (en goeie visualisatie) nodig. Niet alleen voor inspecteurs, maar ook voor burgers. Ook burgers hebben immers belangstelling voor risico’s in een bepaalde buurt, of bij bepaalde bedrijven e.d.

Uitdagingen

  1. Doel en toepassing: in welke context pas je het toe, met welk doel en beoogd effect en wat zijn de juridische en ethische gevolgen?
  2. Mens en organisatie: zijn jij en je organisatie er wel echt klaar voor of is dit het begin van het einde van jouw werk? En wie gaat waarvoor betalen?
  3. Proces: hoe werkt een algoritme samen met mensen, wie interpreteert de uitkomsten en neemt besluiten?
  4. Informatie: welke informatie kun je gebruiken en hoe valide is die?
  5. Techniek: hoe moeilijk is het allemaal? Wat kan er nu en in de toekomst (niet)? Hoe integreert de oplossing met je huidige ICT-landschap?

1.      Doel en toepassing

Voor welke fenomenen wil je het inzetten? Wil je een bepaald type overtredingen terugdringen, of de kwaliteit van bepaalde diensten verbeteren, of bepaalde vormen van uitbuiting verminderen bijvoorbeeld?

Van belang zijn privacy, transparantie en rechtmatigheid:

  • Respect voor privacy is aan de orde als er gebruik wordt gemaakt van persoonsgegevens, bijvoorbeeld van werknemers of van cliënten (ook als het om de eigen inspectiemedewerkers gaat).
  • Transparantie: beslissingen om preventief in te grijpen moeten te verantwoorden zijn. Algoritmen die tot een advies leiden zullen niet altijd even doorgrondelijk zijn. Des te belangrijker is het dat mensen beslissingen nemen en aangeven op grond van welke afwegingen ze die beslissing hebben genomen.
  • De ondoorgrondelijkheid van datagedreven toezicht vereist bovendien dat er goede waarborgen worden ingebouwd in het systeem of de organisatie om te zorgen dat er geen vergissingen worden gemaakt, en dat er procedures zijn om problemen op te lossen.

2.      Mens en organisatie

  • Het systeem moet niet dwingend zijn. Inspecteurs moeten zelf kunnen bepalen wat ze met de informatie doen, om zo steeds meer gevoel en vertrouwen te krijgen in wat je ermee kunt. De professionele ruimte van inspecteurs is groot en dat heeft veel meerwaarde. Het werk moet niet te ver doorschuiven van intuïtie naar een digitaal korset. Aan de andere kant past volledig varen op onderbuikgevoel niet meer in de moderne informatiemaatschappij.
  • Er moet worden nagedacht over samenwerking en informatie-delen met andere partijen en met burgers.
  • Datagestuurd werken vraagt om investeringen en de baten zijn lastig te identificeren. Toch is “meten daadwerkelijk weten, mits je het juiste meet en begrijpt wat je dan weet.” Nog steeds wordt veel overheidswerk betaald naar inzet en niet naar effect. Er moeten slimme innovaties worden bedacht (zoals het samenvoegen van beveiliging en verzekering) om perverse prikkels te verminderen.
  • Een groot risico (vanwege self-fulfilling prophecy) is dat de data in de systemen een gekleurd beeld (bias) geeft en dus gekleurde voorspellingen zal doen. Als toezichthouders teveel leunen op gekleurde voorspellingen krijgen ze last van tunnelvisie. Naarmate de systemen complexer worden en kennis over de werking van systemen minder aanwezig is, wordt dit risico groter. Zie ook dit artikel in De Correspondent (op basis van onderzoek van ProPublica) over ingebouwde bias in risicoprofielen.
  • Data alléén zijn niet genoeg voor smart toezicht. De kennis van wetenschappers, analisten en praktijkmensen moet toegepast worden bij de dataverzameling, bij de formulering van algoritmen, bij de toepassing van voorspellingen en bij de ontwikkeling van interfaces.

Effectiviteit

Voorspelkracht

De betrouwbaarheid van een voorspelmodel is afhankelijk van de hoeveelheid incidenten gerelateerd aan een bepaalde groep. Het gedrag van een individu is immers veel moeilijker te voorspellen dan het gemiddelde gedrag van een groep (zie ook de kritische bespreking van RCT’s).

Het is belangrijk om een detailleringsniveau te kiezen dat klein genoeg is om meerwaarde te hebben ten opzichte van de intuïtie van een analist. Ook moet de datahoeveelheid groot genoeg zijn om een bepaald niveau van betrouwbaarheid te halen.

De validiteit van een voorspelmodel is afhankelijk van de hoeveelheid informatie (op basis van kennis en expertise over gedrag) die het herbergt.

Het effectiefst zou het zijn als inspecteurs weten wat ze in een bepaalde situatie moeten doen om een ongewenst incident te voorkómen. Big Data kan daar ook bij ondersteunen (‘voorspellen’ wat werkt, in een specifieke context). Als het effect van een ingreep steeds direct wordt teruggekoppeld, zowel naar het algoritme als aan de inspecteur, worden beide beter. Daarvoor zijn wel de juiste prestatie-indicatoren nodig: cijfers die daardwerkelijk iets zeggen over de effectiviteit van het optreden.

Neveneffecten

Gerichte aandacht door een toezichthouder kan op zichzelf gedragseffecten hebben, en dat hoeven niet de gewenste gedragseffecten te zijn. Doelgroepen kunnen ook proberen aan de aandacht van de inspecteur te ontsnappen, of de inspecteur te misleiden.

Wat werkt

Als je kan bepalen waarom iets soms wel werkt en soms niet (theorievorming), dan kan die kennis worden geëxtrapoleerd naar andere gebieden. Uiteraard moet je dan wel weten welke kenmerken relevant zijn en die kenmerken in andere gebieden ook kunnen meten. Met andere woorden: je moet kunnen vaststellen wat de context is en of de context op het ene terrein vergelijkbaar is met de context op een ander terrein. Daarvoor is vrijwel altijd een menselijke, professionele inschatting nodig. Alleen een mens is creatief en sensitief genoeg om alle mogelijke relevante contextfactoren waar te nemen en te verwerken.

Implementatie

De auteurs onderscheiden vier niveaus van datagestuurd toezicht: intelligence-gestuurd; predictive; effectgericht; prescriptive. Ze bevelen een stap-voor-stap implementatie aan waarbij inspecteurs kunnen wennen aan de ondersteuning en de systemen kunnen worden verbeterd aan de hand van feedback van de inspecteurs.

Bekend is dat professionals niet altijd geneigd zijn om adviezen op basis van data-analyses over te nemen, zeker niet als ze veel vertrouwen in hun eigen expertise hebben. Wat kan helpen:

  • Adviezen minder specifiek (voorschrijvend) en meer richtinggevend maken
  • Zorgen dat de gebruiker goed begrijpt hoe de technologie werkt

Om te kiezen tussen aanbieders van ict- en analysesystemen wordt aanbevolen om competitieve tests uit te voeren. Als er voor een bepaald systeem gekozen is, moet het langzaam worden uitgerold, zodat mensen een gevoel krijgen voor de mogelijkheden van het systeem.

“…open van geest, de mogelijkheid openhouden dat ze het fout hebben over iets. Dat die houding niet afgestraft wordt, en dat het niet erg is als je er een keer naast zit. Je kunt het niet altijd goed hebben; het gaat erom het vaker goed te hebben.”


 

Maken publieke beveiligers binnenkort plaats voor crime fighting robots? Wordt criminaliteit een te voorspellen fenomeen dankzij verfijnde algoritmen en diepe analyse van big data?

Moeilijk te zeggen, maar dat nieuwe technologieën de opsporingspraktijk en de veiligheidshandhaving ingrijpend gaan veranderen is zeker, zie het nieuwe themanummer van Justitiële verkenningen (nr. 3/2016).

Met artikelen over predictive policing, smart cities, de casus FBI versus Apple, de opmars van beeldtechnologie, drones en robottechnologie en andere vormen van artificiële intelligentie.

Zie

http://www.wodc.nl/onderzoeksdatabase/jv201603-nieuwe-technologieen-in-opsporing-en-veiligheidszorg.aspx

Inhoudsopgave (met links naar afzonderlijke artikelen):

Inleiding 5

  1. A. de Vries en S. Smit - Predictive policing: politiewerk aan de hand van voorspellingen 9
  2. R. Kitchin - Datagestuurde stedelijke planning en ‘smart cities’ 23
  3. C. Cuijpers en S. van Schendel - Data Protection by Design als argument in het FBI vs. Appledebat 37
  4. B. Custers en B. Vergouw - Technologie voor opsporing en handhaving. Kansen, ervaringen en knelpunten 48
  5. S. Flight -Politie en beeldtechnologie: gebruik, opbrengsten en uitdagingen 68
  6. P.J.M. Elands - Drones: zegen of vloek? 95
  7. M.V. Dignum en J. van den Hoven - Reflecties op het verantwoord gebruik van kunstmatige intelligentie 108

Summaries 116
Congresagenda 120

Ook de politie analyseert data om risico's in beeld te brengen en om de effectiviteit van optreden in te schatten. TNO brengt er rapport over uit:

Van predictive naar prescriptiveVan predictive naar prescriptive

Reageren is alleen mogelijk voor aangemelde gebruikers