Olle Engdegård

Chef Prediktiv Modellering

Olle leder gruppen för prediktiv modellering som bland annat utvecklar UCs kreditscore. Han har tidigare jobbat med prediktiv analys inom bank och försäkring. Han har även en PhD i fysik med flera forskningsresor till Sydpolen i bagaget. Olle brinner för konstruktiva samtal om AI och att vi tillsammans ska kunna förstå vilka risker och möjligheter som finns. Förutom AI, maskininlärning och kreditscoring så bloggar han här också om alla sätt vi kan använda data för att förutsäga framtiden.

Så skapar vi trygghet i automatiska beslut

Automatiska beslut blir allt vanligare i vår vardag. Samtidigt visar en ny Sifo-undersökning att svenskar inte gillar när maskiner fattar beslut om oss och att tilliten till AI-tjänster verkar minska. Hur bemöter vi denna konflikt? I rapporten ”Svenskarna och AI 2020”, framtagen på uppdrag av bland annat UC och baserad på en Sifo-undersökning, kan vi se att misstron är stor mot de maskiner som sägs förenkla våra liv och göra oss mer produktiva. En enkätdel innehöll exempel på maskinella beslut (bland annat inom lån och a-kassa) och frågade vilka av dessa som kändes acceptabla. Så många som 62% av deltagarna kunde inte ge sitt stöd till något av alternativen. En annan fråga handlade om ansiktsigenkänning, där betydligt fler var positiva till tekniken när det gällde att låsa upp telefonen, än för att checka in på hotell. Vi verkar känna oss tryggare med att ge personlig information till vår telefon, som är vårt sällskap dygnet runt, än till ett hotelldatorsystem på en främmande plats. Det hela sammanfattas i undersökningens sista fråga, där det visade sig att de två största farhågorna kring AI är brist på personlig integritet och att systemet ska fatta fel beslut. Varför är automatiska beslut läskiga? Många automatiska beslut accepteras utan att vi tänker på det. Varför litar du egentligen på att kassaapparaten i mataffären räknar rätt och ger dig korrekt växel? Förmodligen för att du förstår exakt vad den gör och du vet att du alltid kan kontrollräkna själv. Kanske litar du också på att Skatteverkets datorer ger dig rätt slutskattebesked? Visserligen kan skatteregler vara krångliga, men de är inte godtyckliga, så om datorerna var rätt programmerade förra året borde de vara det i år också. Informationen som används för beräkningen kommer dessutom från deklarationen som du själv har skickat in, vilket ger dig stor insyn i processen. Man kan förstås fråga sig varför vi alls ska försöka höja acceptansen för automatiska beslut. Kan vi inte betrakta denna samhällsvida skepsis som ett tecken på att automatiseringen har gått för långt? Ja, kanske har det gått för långt, men inte med automatisering i sig utan med maskinbeslut som saknar förklaring och säker personuppgiftshantering. Dessutom har inramningen stor effekt på vår upplevelse: I Trelleborgs kommun automatiserade man hanteringen av ansökningar till försörjningsstöd. Ett nytt datorprogram, med aktuella regler inbyggda, kopierade textfält från andra program och kunde därmed själv bedöma om alla villkor var uppfyllda, precis som Skatteverkets datorer bedömer din skatt. Problemet uppstod när man valde att kalla detta för en ”robot”, vilket ingav en känsla av att varma mänskliga bedömningar nu var utbytta mot kalla maskinella regler. I själva verket följer datorprogrammet och dess mänskliga kollegor samma regelverk och besluten kan överklagas som vanligt. Ibland påverkas vi dock mycket konkret av att beslut har automatiserats. I Storbritannien stoppade Coronapandemin alla gymnasieprov förra våren och den ansvariga myndigheten lät istället en algoritm sätta slutbetyg för sistaårselever. Dessa betyg används för att söka till universitetet och kan därmed ha stor påverkan på en ung människas liv. Stora protester ledde till att myndigheten backade och betygen drogs tillbaka. Kan kreditupplysningskopian visa vägen? Tillit skapar vi genom att bemöta de två stora farhågorna som rapporten ”Svenskarna och AI 2020” visar på: Oro för den personliga integriteten och oro för att maskinen fattar fel beslut. Den första kan vi hantera genom att vara öppen med vilken information som används. När ett automatiskt beslut fattas, visa då vilka uppgifter det är grundat på. Detta går längre än GDPR som kräver att man informerar individen när information registreras och när individen aktivt begär ett utdrag, men inte vid själva beslutet. Det finns faktiskt sedan länge ett exempel i vårt land på hur detta kan gå till: När någon tar en kreditupplysning på dig, är kreditupplysningsbolaget skyldiga att skicka dig en kopia. Denna princip, att varje beslut ska åtföljas av en tydlig beskrivning av dess informationsunderlag, borde kunna tillämpas på flera områden. För att besvara den andra farhågan, att maskiner kanske fattar fel beslut, kan vi på liknande sätt utgå från GDPR som kräver att individen ges meningsfull information om logiken bakom. Återigen behöver vi utvidga normen och ge denna förklaring även vid beslutstillfället. Vad som egentligen räknas som ”meningsfull information” måste bedömas från fall till fall. Det finns ibland skäl till att skydda den exakta logiken, men målet måste vara en förklaring som är användbar för individen, åtminstone för att den ska kunna bedöma om lagar och regler är uppfyllda. Trygghet i att veta Oron tycks öka inför maskinella beslut och bedömningar som påverkar oss personligen. Jag tror att vi kan finna en väg framåt i en ny norm för automatiska beslut, där vi i realtid, gärna före beslutet, presenterar individen de uppgifter och den logik som ligger bakom, utformat för att vara begripligt och användbart. Vi kan vara säkra på att många beslut kommer att bli fel även framöver, oavsett om människa eller maskin har varit inblandad, men med förståelse av processen och sin egen personliga information kan automatiseringen göras tryggare. De maskinellt satta gymnasiebetygen i Storbritannien är i själva verket ett mycket positivt exempel på detta: Informationen och logiken var tydlig, vilket gav eleverna tillfälle att bedöma att detta inte var ett acceptabelt system och därmed kunde de också driva igenom en förändring. Endast öppenhet ger den möjligheten. Häromdagen hade jag förmånen att få hålla i ett seminarium på Framtidsmässan om just AI och automatiska beslut, titta gärna på inspelningen nedan om du inte var med! /Olle

Jag skulle vilja ha en AI, tack

Visste du att det danska språket är så svårt att inte ens danskarna själva förstår varandra? De låtsas faktiskt bara förstå, för att upprätthålla den gemytliga stämningen. Ibland slänger de iväg något ord som en chansning och får ett nervöst nickande till svar. Om detta låter främmande för dig så kanske du inte har sett den här fantastiska sketchen, som egentligen är gjord av narrande norrmän. Jag tycker att bilden som målas upp påminner om många samtal om hajpad teknologi. Känner du igen dig? Chefen: ”Jag tycker att vi borde jobba mer med AI.”Du: ”Ah, AI... Ja, självklart!” Ingen vill visa sig okunnig och ingen vill vara den där jobbiga personen som börjar ifrågasätta när man har ett trevligt, positivt och framåtblickande samtal. Men det finns ingen anledning till att just denna teknik ska vara höljd i dunkel. Prediktionssystem Ordet AI dyker ofta upp när man pratar om prediktionssystem som tränas på stora datamängder och därmed kan utföra väldigt specifika uppgifter med hög precision. Ofta pratar man om maskininlärning (machine learning) på samma sätt. Prediktionssystem kommer i olika varianter med flera nivåer av komplexitet. En enkel typ skulle kunna förutsäga vädret på julafton genom att använda medelvärdet i temperatur och nederbörd för just den dagen de senaste tio åren. Vore det ett bra system? Det beror förstås helt på vad vi ska använda det till. Det duger utmärkt för att planera vilka kläder som kan stuvas ned i källaren inför december, men det hjälper inte för att veta om jag behöver ett paraply på min julpromenad. När vi talar om mer komplexa prediktionssystem (där vanliga metoder är neurala nätverk och skogar av beslutsträd) är det egentligen samma fråga vi bör ställa: Vilken komplexitet behövs i det här fallet? Mer komplexitet ger fler komplikationer, så det finns alltid avvägningar att göra. Möjligheter och begränsningar När du har ställt din samtalspartner alla tuffa frågor om avvägningar mellan precision, komplexitet, förståelse, kostnad och tid till realisering, kanske hen slappnar av och tror att du är färdig. Då styr du in samtalet på nästa område som behöver klarhet: Data. Vilken data används i utvecklingen, har du juridiskt stöd för eventuell behandling av personuppgifter och är du helt säker på att ditt testdata är representativt för den verkliga miljön där systemet ska användas? Finns det risker för att systemet oavsiktligt har blivit diskriminerande? Det är inte alltid lätta frågor, men de måste diskuteras för att få en klar bild av både möjligheter och begränsningar om ni ska kunna fatta kloka beslut tillsammans. Jag skulle vilja ha det lite mindre trevligt, tack Det är allas vårt ansvar att hålla en hög nivå på våra samtal. När du talar, se till att den som lyssnar förstår vad du säger. Det låter kanske självklart, men det ställer faktiskt höga krav på dig! Använd ord som ni har en gemensam förståelse kring. När du lyssnar, fråga tills du förstår och låt ingen komma undan med diffusa begrepp. Var den där jobbiga personen som stör i hygget, det tjänar vi alla på! /Olle

AI och känslig persondata mot pandemin

Under pandemins första månader har uppmärksamheten riktats mot ny teknik för att dämpa smittan runt om i världen. Det handlar främst om hjälpmedel för effektiv smittspårning, det vill säga system som håller reda på exakt vilka jag har varit i närheten av och när detta skedde, för att dessa personer ska kunna bli kontaktade av hälsomyndigheter om jag senare visar mig vara smittad. Andra verktyg använder anonym information för att förstå hur människor rör sig och för att bevaka smittans intensitet och utveckling i olika områden. Nu när många länder lättar på en del restriktioner, ökar intresset för system som håller reda på vem som är immun och därmed kan tillåtas återvända till jobbet ungefär som förut. När man skyndar ökar alltid risken för att snubbla, så låt oss se vilka fallgropar som finns. Detta händer i Sverige och i världen Många länder gör nu försök med smittspårningsappar. Det de flesta har gemensamt är att de varnar användaren när den har varit i kontakt med någon som testats positivt för covid-19. Därefter skiljer de sig åt. Vissa låter informationen stanna i telefonen medan andra sparar uppgifter i en central databas, vilket skapar en risk för dataläckor. Vissa identifierar möten med hjälp av Bluetooth och andra med GPS, där de senare därmed måste registrera exakt var du har varit någonstans. I Sverige påbörjade Myndigheten för samhällsskydd och beredskap (MSB) utvecklingen av en app för smittspårning men avbröt projektet redan i april. Den skulle samla in personuppgifter till en databas på Amazons molntjänst, vilket Sveriges myndigheter normalt undviker eftersom amerikansk lag kan tvinga ut informationen även om den fysiskt finns här i landet. Oberoende av detta driver Lunds universitet appen Covid Symptom Tracker som fick kritik om bristande information om hur personuppgifter skulle hanteras. I våra grannländer har Norge redan hunnit inleda smittspårning via app, få kritik från Amnesty och norska Integritetsskyddsmyndigheten samt pausa systemet och radera all insamlad data. I Finland rör man sig långsammare och bereder nu en lag som uttryckligen ska göra smittspårningssystem tillåtna. I resten av världen noterar vi att över 500,000 tyskar anslutit sina pulsklockor till en covid-databas som snabbt fick kritik för bristande skydd av persondata. Indien är hittills den enda demokratin som gjort en smittspårningsapp helt obligatorisk. Hälsodata är det sista vi håller för oss själva Hälsa är idag kanske den mest känsliga personinformation som myndigheter lagrar. Kom ihåg att nästan all information som finns hos våra myndigheter är offentliga uppgifter. Inte nog med att jag kan fråga Skatteverket hur mycket du tjänar, jag kan också fråga Kronofogden om du har slarvat med underhållsstödet till din exfru och jag kan fråga tingsrätten vilka brott du har dömts för. Men det finns ingen myndighet som släpper ifrån sig uppgifter om din hälsa. En kreditupplysning innehåller mycket information och över tid kan acceptansen för vad som kan ingå där förändras, men vi känner oss säkra på att uppgifter om hälsa aldrig kommer dyka upp. Därför är det så viktigt att vara vaksamma när känsliga personuppgifter, som vår hälsa, börjar spridas på nya sätt. Även när information ska användas statistiskt utan koppling till dig som person, som den tyska pulsinsamlingen, måste de ansvariga visa att de hanterar din information på ett säkert sätt och att det inte finns någon risk för IT-läckor eller liknande. Särskilt viktigt är det när nya system ska byggas på kort tid. Arbetsförmedlingen har haft flera exempel på när teknikentusiasm har tagit överhand och dataskydd glömts bort, där det mest iögonfallande är Jobskills som skulle blir en tjänst för arbetsgivare att söka bland nyanländas cv-n men som visade sig vara en perfekt databas för flyktingspionage. Principer som kan hjälpa oss Vi behöver fler diskussioner om vad dataskydd, IT-säkerhet och GDPR innebär för att öka den allmänna förståelsen, så att vi kan fatta fler kloka beslut själva utan hjälp av jurister. Ju mer spridd sådan kunskap är i organisationer och myndigheter, desto lägre blir risken att man snubblar när det är bråttom. Vi behöver fortfarande en bättre samsyn mellan myndigheter och teknikbolag om vad dataskydd innebär. När det är pandemisk brådska, kräv att alla coronaappar överlämnar full kontroll till offentliga institutioner och ställ sedan höga krav på dessa. Då blir det lättare att bevilja undantag till GDPR om det är nödvändigt. Tillit är en resurs som man tar av varje gång man säger ”lita på mig”. Därmed måste man också fylla på detta konto. Även hantering av anonym information kräver tillit som vi har sett, så när Telia beskriver mobiltelefoners rörelser i Sverige ger de sig själva uppgiften att åter fylla på detta förtroende. Det gör man med full transparens och öppna diskussioner. När du hanterar personuppgifter har du ett stort ansvar. När du hanterar känsliga personuppgifter som hälsa har du ett mycket stort ansvar. Men det måste finnas en bred kunskap i samhället så att vi kan utkräva detta ansvar från alla de organisationer som lagrar våra känsliga uppgifter. /Olle

Data bygger tillit – i och utanför pandemier

Det är nu onsdagen den 1 april 2020 och covid-19-epidemin har förutom i sjukvården även börjat synas tydligt i varsel, uppsägningar, permitteringar, konkurser och företagsrekonstruktioner. Diskussionerna går heta om huruvida regeringen och Folkhälsomyndigheten agerar rätt i att hålla stora delar av samhället öppna. Fjorton forskare har skrivit en debattartikel som uppmanar Folkhälsomyndigheten att bättre redovisa sina beslutsunderlag. Men oavsett om man håller med dessa författare så är en sak klar: vi har aldrig haft så mycket tillgänglig information i en kris av den här storleken. Denna pandemi sker inför öppen ridå på ett sätt vi aldrig tidigare sett. Jag kan dagligen bevaka utvecklingen i världens alla länder och se siffror och grafer över det observerade förloppet. Detaljer om den svenska utvecklingen hittar vi på Folkhälsomyndighetens nya statistiksida. All denna information både skrämmer och lugnar. Vi kan jämföra vårt land med andra länder, vilket kan tvinga fram öppenhet från vår regering. När länder som drabbats tidigt av smittan delar sin data, hjälper det inte bara myndigheter och vårdplanerare runt om i världen att förbereda sig, utan ger även oss medborgare en klar bild av vad som kan vara på väg. Vi har då ungefär samma information som våra myndigheter, vilket gör det lättare för oss att ställa krav på dem men också att lita på dem. För att fatta kloka beslut i denna nya situation söker både medborgare och myndigheter bästa möjliga faktaunderlag och jag ser några principiella likheter mellan de utmaningar som regeringen står inför och mindre dramatiska frågor i våra kunders vardag. Det handlar om hur man agerar på tillgänglig information. En enkel punktlista kan se ut så här: Samla in data Förstå data Agera på data Det kan låta som självklarheter, så låt oss dyka ned i vad de innebär. Samla in dataDetta är vad Folkhälsomyndigheten gör nu, tillsammans med deras kollegor runt om i världen. De hjälps åt att skapa den mest imponerande, heltäckande och uppdaterade krisbild vi någonsin sett. Men redan här väcks frågorna: Vet vi tillräckligt eller måste vi testa mer? Litar vi på Kinas statistik? UCs kunder står i sin vardag inför liknande frågor. Vet vi tillräckligt mycket om vår kreditprocess och portfölj? Bör vi göra några tester i vår prissättning för att förstå marknaden bättre och hur stor del av ansökningarna vågar vi avvara till dessa tester? Förstå dataExpertmyndigheter hjälper inte bara regeringen att förstå utvecklingen utan utbildar hela befolkningen. Många pratar nu om att ”platta till kurvan”, vilket är en stor folkbildande framgång. På samma sätt som att Sverige tjänar på att inte bara regeringen förstår vad som händer, tjänar alla datadrivna organisationer på en utbredd förståelse för sin egen data. Ju mer kunskap som finns spridd desto bättre blir också de snabba besluten. Agera på dataHär börjar det bli svårt. Den svenska regeringen har valt att till hög grad följa expertmyndigheternas råd. I Brasilien säger president Jair Bolsonaro att covid-19 inte är värre än en liten snuva. På kreditmarknaden ser vi kreditgivare som, trots tillgång till UCs fullständiga kreditupplysning, ändå väljer att betala ut mer lån till redan högt skuldsatta personer. Det är tydligt att det inte räcker att ha information, eller ens att förstå den, om det inte finns en vilja och kompetens att omsätta det i handling. Vare sig du befinner dig i en liten organisation eller en stor statsapparat är tillgången på data större än någonsin och detta märks extra tydligt när beslut måste fattas snabbt. Men det förutsätter också att där finns förståelse och vilja att agera. Tilliten till myndigheter varierar stort mellan länder och i mätningar kommer Norden ofta högst upp. Man kan tänka sig att denna nya pandemidata gör störst nytta i länder med lågt förtroende: Om regeringen inte agerar korrekt kan den ställas till svars (om landet är tillräckligt fritt) och om regeringen faktiskt agerar korrekt utifrån tillgänglig information kommer tilliten öka. /Olle Engdegård

AI behöver regleras - Hej GDPR!

Googles VD Sundar Pichai skrev häromdagen en debattartikel i Financial Times om att AI behöver regleras. Jag håller med, denna teknologi skapar nya risker som behöver diskuteras öppet och även hanteras tillsammans. Varje medborgare har dessutom en starkt motiverad rätt till insyn i hur den personliga datan används. Mycket av oron gäller just hanteringen av personlig information och där täcker GDPR redan mycket, så låt oss först se hur våra myndigheter tolkar GDPR innan vi kräver riksdagen på nya lagar. Är det ok att använda ansiktsigenkänning? Integritetsskyddsmyndigheten granskade flera fall av ansiktsigenkänning under 2019. Först inleddes ett ärende mot Nordic Tech House (som vid tidpunkten hade Isabella Löwengrip som storägare). Bolaget planerade att skanna ansiktena på besökare i en butik men efter Integritetsskyddsmyndigheten inledde granskningen verkar de ha backat från de ambitionerna. Sedan beslutade Integritetsskyddsmyndigheten om böter för en gymnasieskola i Skellefteå som på prov använde kameror för att automatiskt registrera elevernas närvaro. Integritetsskyddsmyndigheten avslutade sedan året med att först i princip godkänna Polisens plan på att använda ansiktsigenkänning för att utreda brott (med vissa förbehåll), men sedan underkänna Polisens planer på att skanna ansikten på Skavsta flygplats utan en lagändring. Befintliga lagar Dessa exempel visar att AI faktiskt är reglerat idag, åtminstone när det gäller hantering av personliga uppgifter. Vi ser att ansiktsigenkänning inte är helt fritt att använda men heller inte strikt förbjudet så länge du följer GDPR. Andra befintliga lagar kan täcka andra risker med AI: att utge sig för att vara någon annan kan vara bedrägeri och kanske kan det även anses vara bedrägeri om jag släpper lös fem tusen AI-styrda twitter-botar för egen vinnings skull. Den som med AI modifierar filmer så att ett ansikte klistras in i exempelvis en pornografisk scen (s.k. Deepfake) kan åtalas för grovt förtal eller olaga integritetsintrång. Den som använder en diskriminerande AI i sin rekryteringsprocess kan dömas för just diskriminering. Sammanfattningsvis har vi i Sverige en stark arsenal av lagar att ta till när personer använder AI för att skada andra människor, med eller utan avsikt. Vi kan därmed se fram emot framtida AI-innovationer med trygg tillförsikt, åtminstone på kort sikt. /Olle Engdegård