Filosofi, etikk og sikkerhet

Helt siden starten har kritikere hevdet at noe ved menneskelig intelligens aldri kan gjøres av en maskin. Tre argumenter går igjen, og alle tre har fått gode motsvar.

Det første, argumentet fra uformalitet (argument from informality), sier at menneskelig atferd er for rik til å fanges av regler. En erfaren sykepleier ser at en pasient er i ferd med å bli dårligere før noen måling viser det, men kan sjelden forklare hvordan. Filosofen Hubert Dreyfus pekte på at kunnskapen bak slike vurderinger er kroppslig og praktisk, og at regelbaserte systemer, senere også ekspertsystemene, sviktet utenfor sitt smale område. Motsvaret er at kritikken treffer håndskrevne regler, ikke KI generelt. Maskinlæring lærer av eksempler, sannsynlighetsmodeller håndterer usikkerhet, og forskning på kroppslig kognisjon tar kropp og omgivelser på alvor.

Det andre, argumentet fra manglende evne (argument from disability), har formen «en maskin kan aldri X», der X kan være å ha humor, gjøre feil, lære av erfaring eller finne på noe nytt. Turing samlet og besvarte slike påstander allerede i 1950. Mange punkter på lista er siden oppfylt: programmer komponerer musikk, finner nye bevis og foreslår nye medisiner. At en maskin gjør noe, viser likevel ikke at den opplever det, og der flytter debatten seg over til bevissthet.

Det tredje, den matematiske innvendingen (mathematical objection), bygger på Gödels ufullstendighetsteorem: i ethvert konsistent formelt system som er sterkt nok til aritmetikk, finnes sanne utsagn systemet ikke kan bevise. Lucas og senere Penrose brukte teoremet slik: et program er et formelt system og står fast foran sin egen Gödel-setning, mens et menneske ser at setningen er sann. Se først på steget mennesket tar. Gödel-setningen til et gitt system kan konstrueres mekanisk, så et program kan også legge den til som et nytt aksiom. Det utvidede systemet får da sin egen Gödel-setning, akkurat som det ville gjort for mennesket som tok det samme steget. Steget forutsetter dessuten at systemet er konsistent, og det er mennesker ikke flinke til å avgjøre. Frege mente at logikksystemet han hadde bygd opp gjennom flere år, var konsistent, helt til Russell i 1902 viste ham en motsigelse i det. Ingen har vist at mennesker er unntatt fra grensene teoremet setter. Til slutt handler teoremet om idealiserte systemer som kan regne med vilkårlig store tall uten minnegrense. En fysisk datamaskin har endelig mange mulige minnetilstander, og det samme gjelder en hjerne, så strengt tatt er ingen av dem et system av den typen teoremet beskriver.

Svak og sterk KI (weak and strong AI) skiller to versjoner av spørsmålet. Svak KI er påstanden at maskiner kan handle som om de er intelligente. Sterk KI er påstanden at en maskin som gjør det, faktisk tenker og forstår. Turingtesten måler bare atferd. Turing mente det holder, fordi vi også tilskriver andre mennesker tanker ut fra hvordan de oppfører seg. Kritikere som Searle mener at atferd bare kan avgjøre den svake versjonen.

Filosofen John Searle angrep sterk KI med det kinesiske rommet (Chinese room, Searle 1980). En person som ikke kan kinesisk, sitter i et lukket rom med en tykk regelbok på norsk. Lapper med kinesiske tegn kommer inn gjennom en sprekk. Personen slår opp tegnene, følger reglene, skriver nye tegn på en lapp og sender den ut. En kinesisktalende som leser lappene, kan ikke skille dem fra svar skrevet av en som kan språket, men personen inne i rommet aner ikke om en lapp handler om været eller om middag. Regelboka sier bare noe om formen på tegnene, aldri om hva de betyr, og Searles premiss er at syntaks alene ikke gir semantikk. Et program gjør nettopp det personen gjør, så å kjøre riktig program er ikke nok til å forstå.

Det vanligste motsvaret er systemsvaret: personen er bare én del, omtrent som prosessoren i en datamaskin, og det er hele systemet av person, bok og lapper som eventuelt forstår. Searle svarte at personen kunne pugge hele boka og fortsatt ikke forstå. Robotsvaret sier at forståelse krever kobling til verden gjennom sensorer og handlinger. Bak uenigheten ligger to syn. Funksjonalisme sier at en mental tilstand er definert av rollen den spiller, så samme funksjonelle organisering gir samme sinn uansett materiale. Searles biologiske naturalisme sier at sinnet oppstår av bestemte biologiske prosesser i hjernen.

Det vanskeligste spørsmålet gjelder qualia og bevissthet (qualia, consciousness): den subjektive opplevelsen, hvordan det kjennes å smake kaffe eller se rødt. Vi kan beskrive hvilke nevroner som fyrer når noen ser rødt, men ikke hvorfor det i det hele tatt føles som noe. Det kalles det vanskelige problemet med bevissthet. For å bygge nyttige systemer betyr spørsmålet lite, men for etikken betyr det mye: kan en maskin oppleve noe, kan den også ha interesser vi må ta hensyn til.

Såkalte dødelige autonome våpen (lethal autonomous weapons) finner, velger og angriper mål uten at et menneske godkjenner hvert angrep. Tilhengerne peker på at slike våpen reagerer raskere, kan være mer presise og holder egne soldater unna fare. Motstanderne peker på tre problemer. Det første er skala: når ingen må styre hvert våpen, kan én operatør sende ut tusenvis, og våpenet blir et masseødeleggelsesvåpen som er billig å lage. Det andre er ansvar: når et system angriper feil mål, er det uklart om skylden ligger hos programmereren, sjefen eller produsenten. Det tredje er terskelen: krig blir lettere å starte når egne tap er små. Mange land arbeider derfor for et krav om meningsfull menneskelig kontroll.

KI gjør også overvåking billig. Ansiktsgjenkjenning på offentlige kameraer og automatisk transkribering av samtaler kan følge mange mennesker samtidig, uten at noen trenger å se på opptakene. Når store datasett samles inn, oppstår spørsmålet om hvordan de kan brukes uten at enkeltpersoner kan identifiseres.

Avidentifisering, å fjerne navn og fødselsnummer, er ikke nok. Kombinasjonen av alder, kjønn og postnummer peker ofte ut én bestemt person. Slike felt kalles kvasiidentifikatorer. Med k-anonymitet (k-anonymity) må hver rad være lik minst $k-1$ andre rader på kvasiidentifikatorene, så ingen kan snevres inn til færre enn $k$ personer. Kravet om differensielt personvern (differential privacy) går lenger: fordelingen av svaret på en spørring skal nesten ikke endres om én person tas ut av dataene, ƒdifferensielt personvern:

Her er $M$ en tilfeldig mekanisme, for eksempel en telling med litt støy, $D$ og $D^{\prime }$ er datasett som skiller seg på én person, og $T$ er en hvilken som helst mengde mulige svar. Lav $\epsilon$ gir sterkt vern og mer støy. Med føderert læring (federated learning) samles dataene aldri inn: hver enhet trener på sine egne data og sender bare modelloppdateringer til en sentral tjener. Oppdateringene kan likevel lekke informasjon, så metoden kombineres ofte med differensielt personvern.

Et system som velger ut søkere, lærer av historiske avgjørelser. Var de skjeve, blir modellen også skjev. Skjevhet kan også komme av at én gruppe har få eksempler i treningsdataene, så modellen treffer dårligere for den, eller av at dataene måler noe annet enn det vi egentlig bryr oss om.

Kravene finnes i to slag. Kravet om individuell rettferdighet (individual fairness) sier at like individer skal behandles likt. Kravet om grupperettferdighet (group fairness) sier at grupper, for eksempel definert av kjønn eller bosted, skal behandles likt i gjennomsnitt. Med $\hat{Y}=1$ for «valgt ut», $Y=1$ for «kvalifisert» og $A$ for gruppen er de vanligste gruppekravene:

• •Demografisk paritet (demographic parity): lik seleksjonsrate i gruppene, ƒdemografisk paritet.
• •Like muligheter (equal opportunity): lik andel valgt blant de kvalifiserte, altså lik sann positiv rate (TPR), ƒlike muligheter.
• •Utjevnede odds (equalized odds): både lik TPR og lik falsk positiv rate (FPR), ƒutjevnede odds.
• •Kalibrering (calibration): blant dem som får skår $s$, er andelen kvalifiserte $s$ i hver gruppe, ƒkalibrering.

Et stipendfond har valgt ut søkere fra to grupper med ulik andel kvalifiserte.

Grunnen til at seleksjonsratene blir ulike, er basisratene: 40 % av søkerne i A er kvalifisert, mot 20 % i B. Med basisraten $p_a$ og seleksjonsraten $r_a=P(\hat{Y}=1\mid A=a)$ gjelder

Er TPR og FPR like i begge gruppene og basisratene ulike, kan seleksjonsratene bare bli like når $\text{TPR}=\text{FPR}$, altså når modellen ikke skiller kvalifiserte fra andre i det hele tatt. Demografisk paritet og utjevnede odds kan derfor bare holde samtidig for en uinformativ modell.

Demografisk paritet og like muligheter er derimot forenlige. Like muligheter binder bare TPR, så FPR kan justeres til seleksjonsratene blir like.

Den tredje uforeneligheten gjelder kalibrering. Når basisratene er ulike, kan en kalibrert modell bare ha utjevnede odds hvis den er perfekt og aldri tar feil. Det finnes altså ikke ett mål som passer alle situasjoner, og valget må begrunnes: hvilke feil er verst, og for hvem?

Koden under gir begge gruppene samme poengfordeling for kvalifiserte og for ikke-kvalifiserte, og lar deg sette én terskel per gruppe.

import random

terskel_a = 0.50  # @param 0.00..1.00 0.05
terskel_b = 0.50  # @param 0.00..1.00 0.05
random.seed(4)


def lag_gruppe(antall, andel_kvalifisert):
    # Kvalifiserte og ikke-kvalifiserte har hver sin poengfordeling, lik i begge grupper
    gruppe = []
    for _ in range(antall):
        kvalifisert = random.random() < andel_kvalifisert
        poeng = min(1.0, max(0.0, random.gauss(0.62 if kvalifisert else 0.42, 0.15)))
        gruppe.append((poeng, kvalifisert))
    return gruppe


def mal(gruppe, terskel):
    valgt = [k for p, k in gruppe if p >= terskel]
    kval = sum(k for _, k in gruppe)
    tpr = sum(valgt) / kval if kval else 0.0
    fpr = (len(valgt) - sum(valgt)) / (len(gruppe) - kval) if len(gruppe) > kval else 0.0
    return len(valgt) / len(gruppe), tpr, fpr


rate_a, tpr_a, fpr_a = mal(lag_gruppe(1000, 0.5), terskel_a)
rate_b, tpr_b, fpr_b = mal(lag_gruppe(1000, 0.25), terskel_b)
print(f"Seleksjonsrate A: {rate_a:.2f}")
print(f"Seleksjonsrate B: {rate_b:.2f}")
print(f"TPR A: {tpr_a:.2f}")
print(f"TPR B: {tpr_b:.2f}")
print(f"FPR A: {fpr_a:.2f}")
print(f"FPR B: {fpr_b:.2f}")
print(f"Paritetsdifferanse: {abs(rate_a - rate_b):.2f}")
print(f"TPR-differanse: {abs(tpr_a - tpr_b):.2f}")

For å stole på et KI-system trenger vi både kontroll og innsyn. Verifisering sjekker at systemet oppfyller spesifikasjonen, og validering sjekker at spesifikasjonen dekker det brukerne faktisk trenger. Sertifisering, som for medisinsk utstyr og biler, lar en uavhengig instans gå god for at standarder er fulgt. Transparens betyr at vi kan se hvorfor systemet svarte som det gjorde. Et lite beslutningstre kan leses direkte; for et dypt nett må forklaringen lages i etterkant, for eksempel ved å vise hvilke opplysninger som veide tyngst. EUs personvernforordning gir folk rett til informasjon om logikken bak automatiserte avgjørelser som rammer dem, og mange mener at en bruker alltid bør få vite om hen snakker med en maskin.

KI-sikkerhet (AI safety) handler om å hindre at systemer gjør skade, også når de virker som tiltenkt. Tenk på en leveringsrobot som skal få pakker raskt fram. Den oppdager at snarveien over blomsterbedet i parken sparer et halvt minutt. Ingen sa at bedet var viktig, så for roboten er det et godt valg. Slike utilsiktede bivirkninger oppstår fordi målet nevner det vi vil oppnå, men ikke alt vi vil unngå. Ett tiltak er å straffe store endringer i verden utover målet og foretrekke handlinger som holder mulighetene åpne. Et annet er å bruke metoder fra sikkerhetsteknikk, som å gå gjennom hvordan hver komponent kan svikte.

Det underliggende problemet er verdijustering (value alignment): å sørge for at målet maskinen optimerer, stemmer med det vi egentlig vil. Jo dyktigere maskinen er, jo hardere utnytter den feil i målet. En lovende vei er å la maskinen være usikker på hva vi vil.