Prejudiced AI endrer amerikanske liv. Hva kan vi gjøre om det?

Your body language may shape who you are | Amy Cuddy (Februar 2019).

Anonim

Tenk deg en verden der kunstig intelligente algoritmer tar beslutninger som påvirker ditt hverdagsliv. Forestill deg at de er skadet.

Dette er verden vi allerede lever i, sier datavitenskapsmann, Harvard PhD og forfatter Cathy O'Neil. (Les en del av diskusjonen med Dr. O'Neil her). Vi satte oss ned med nominasjonen til National Book Award for å finne ut hva vi kan gjøre med fordommer i tiden med store data. CT: Er AI skadet?

CO: Hver algoritme som ikke er eksplisitt gjort rettferdig, bør antas å være skadet. Fordi som mennesker, er vi skadet. Hvis vi anerkjenner det, og vi lager disse algoritmene med våre verdier og data, bør vi ikke anta at noe som har skjedd for å gjøre ting rettferdig. Det er ingen magi der.

CT: Hvor får algoritmer dataene sine?

CO: Det avhenger av algoritmen. Noen ganger sosiale medier, for ting som politisk markedsmålretting eller reklame eller for-profit høyskoler og rovlån - men mye av dataene blir ikke samlet på sosiale medier, eller til og med online.
Datainnsamling blir stadig mer knyttet til det virkelige livet, som å få jobb, jobbe på jobben, gå på college eller gå i fengsel. Disse tingene er ikke ting vi kan omgå med personvernlover. De er maktspørsmål, hvor folkene som er målrettet av algoritmen, ikke har noen makt, og de som samler informasjonen og bygger og distribuerer algoritmene, har all makt. Du har ingen personvernrettigheter hvis du er en kriminell tiltalte, du har ikke noen personvernrettigheter på jobben din, og du har ikke mye i veien for personvernrettigheter hvis du søker på en jobb fordi Hvis du ikke svarer på spørsmålene dine fremtidige arbeidsgiver har bedt deg, vil du sannsynligvis ikke få jobben.

Vi bør tenke mindre om personvern og mer om kraft når det gjelder algoritmer og skade (de kan forårsake).

CT: Hva kan vi gjøre for å gjøre det bedre?

CO: Vi kan erkjenne at disse algoritmene ikke er iboende perfekte, og test dem for deres feil. Vi bør ha løpende revisjoner og overvåker - spesielt for viktige beslutninger som ansettelse, straffedømmelse eller vurdering av personer i jobben deres - for å sikre at algoritmene fungerer slik de ønsker dem, ikke på noen form for diskriminerende eller urettferdig måte.

Ailsa Johnson / © Kulturreise

CT: Hva er de beste og verste scenariene for den data-drevne fremtiden?

CO: Det verste fallet er det vi har nå - at vi alle blindt forventer at algoritmer skal være perfekte, selv om vi burde vite bedre nå. Og vi forplanter fortidens urettferdigheter og urettferdigheter. Og vi fortsetter å ignorere feilene i disse algoritmer.

Det beste tilfellet er at vi anerkjenner disse algoritmene ikke er iboende bedre enn mennesker. Vi bestemmer hva vi vil ha som mennesker, det vi strever etter. Det vi vil at samfunnet skal se ut, og vi lærer disse verdiene. Hvis vi gjør det vellykket, kan disse algoritmer være bedre enn mennesker.

CT: Hvilken rolle kan hverdagslige mennesker spille?

CO: Den viktigste rollen som en person kan spille er å ikke implisitt stole på noen algoritme. Å ha en enorm mengde skepsis. Hvis du blir evaluert på en algoritme, spør: Hvordan vet jeg det er rettferdig, hvordan vet jeg det er nyttig, hvordan vet jeg at det er korrekt? Hva er feilfrekvensen? For hvem svikter denne algoritmen? Faller det kvinner eller minoriteter? " Spør det slags spørsmål.

Den andre tingen, utover skeptisisme, er at hvis du tror en algoritme er urettferdig mot deg eller andre mennesker, er å organisere med de andre menneskene. Et nylig eksempel er lærere. De statistiske modellene om verdiskapende lærere er forferdelige, nesten tilfeldige tallgivere. Men de ble brukt til å bestemme hvilke lærere som skulle få oppdrag og hvilke lærere som skulle bli sparket, over hele USA.
Mitt forslag er at de skal få sin union til å presse tilbake. Og dette skjedde noen steder. Men det er overraskende hvor lite motstand det var på grunn av scoring systemets matematiske natur.

CT: Hvordan kom du inn i "store data"?

CO: Jeg jobbet på Wall Street og opplevde finanskrisen fra innsiden. Jeg ble forferdet av måten matematikken ble brukt til å enten dra nytte av mennesker eller til å lure folk. Jeg så den typen skade som kunne komme fra matematiske løgner, det jeg kaller "våpen av matematikk".

Jeg bestemte meg for å komme vekk fra det, så jeg ble med i Occupy Wall Street og begynte å jobbe som datavitenskapsmann. Jeg oppnådde langsomt at vi så feil og misvisende skudd rundt misvisende datalgoritmer som også foregikk utenfor Wall Street, og at det skulle føre til mye skade. Forskjellen var at mens folk over hele verden la merke til finanskrisen, trodde jeg ikke folk ville legge merke til feilene i disse store datalgoritmer, fordi de vanligvis skjer på individnivå.

Les en del av diskusjonen med Dr. O'Neil her. Dr Cathy O'Neils bok, The Maths Destruction: Våre store data øker ulikheten og truer demokratiet

, er tilgjengelig nå.