Keinotekoisella älykkyydellä on puolueellisuusongelma, ja se on meidän syytämme

Bostonin yliopiston ja Microsoftin tutkijat työskentelivät vuonna 2016 tekoälyn algoritmeja löytäessään rasistisia ja seksistisiä taipumuksia tekniikassa, joka perustuu joidenkin suosituimpiin ja kriittisiin palveluihin, joita käytämme päivittäin. Ilmoitus oli vastoin tavanomaista viisautta, jonka mukaan tekoäly ei kärsi sukupuoleen, rotuun ja kulttuuriin liittyvistä ennakkoluuloista, joita me ihmiset teemme.

Tutkijat tekivät tämän löytön tutkiessaan sanan upottamisalgoritmeja, tyyppiä AI, joka löytää korrelaatioita ja assosiaatioita eri sanojen välillä analysoimalla suuria tekstiä. Esimerkiksi koulutettu sanan upotusalgoritmi voi ymmärtää, että kukkasanat liittyvät läheisesti miellyttäviin tunteisiin. Käytännöllisemmällä tasolla sanan upottaminen ymmärtää, että termi "tietokoneohjelmointi" liittyy läheisesti "C ++", "JavaScript" ja "oliokeskeiseen analyysiin ja suunnitteluun". Kun tämä toiminto on integroitu skannauksen jatkamiseen, se antaa työnantajille löytää päteviä ehdokkaita vähemmän vaivaa. Hakukoneissa se voi tarjota parempia tuloksia tuottamalla sisältöä, joka liittyy semanttisesti hakutermiin.

BU: n ja Microsoftin tutkijat havaitsivat, että sanan upottamisalgoritmeilla oli kuitenkin ongelmallisia puolueellisuuksia - kuten "tietokoneohjelmoijan" yhdistäminen miehenpromenssien kanssa ja "kotiäiti" naispuolisten kanssa. Heidän löytönsä, jotka he julkaisivat tutkielmassa, jonka otsikko on "Mies on tietokoneohjelmoijaksi kuin nainen on kotona?" oli yksi monista raporteista, joiden tarkoituksena oli hylätä myytti AI: n neutraalisuudesta ja valaista algoritmisia puolueellisuuksia. Tämä on ilmiö, joka saavuttaa kriittiset ulottuvuudet, kun algoritmit osallistuvat entistä enemmän päivittäisiin päätöksiimme.

Algoritmisten puolueiden alkuperä

Koneoppiminen ja syvän oppimisen algoritmit ovat nykyaikaisten AI-pohjaisten ohjelmistojen taustalla. Päinvastoin kuin perinteinen ohjelmisto, joka toimii ennalta määriteltyjen ja todennettavissa olevien sääntöjen pohjalta, syväoppiminen luo omat säännöt ja oppii esimerkillä.

Esimerkiksi syventävään oppimiseen perustuvan kuvan tunnistussovelluksen luomiseksi ohjelmoijat "kouluttavat" algoritmin syöttämällä siihen merkittyjä tietoja: tässä tapauksessa valokuvat, jotka on merkitty niiden sisältämän objektin nimellä. Kun algoritmi on saanut riittävästi esimerkkejä, se pystyy keräämään yleisiä malleja vastaavasti leimatun datan joukosta ja käyttämään tätä tietoa luokittelematta leimaamattomia näytteitä.

Tämä mekanismi mahdollistaa syvän oppimisen suorittaa monia tehtäviä, jotka olivat käytännössä mahdotonta sääntöpohjaisilla ohjelmistoilla. Mutta se tarkoittaa myös, että syväoppimisohjelmistot voivat periä peiteltyjä tai avoimia puolueellisuuksia.

"AI-algoritmeja ei ole luontaisesti puolueellisia", sanoo professori Venkatesh Saligrama, joka opettaa Bostonin yliopiston sähkö- ja tietotekniikan laitoksella ja työskenteli sanan upottamisalgoritmeissa. "Heillä on deterministinen toiminnallisuus ja he ottavat huomioon kaikki taipumukset, jotka ovat jo olemassa tiedoissa, joita he kouluttavat."

Bostonin yliopiston tutkijoiden testaamat sanan upottamisalgoritmit koulutettiin satojen tuhansien artikkeleiden kohteeksi Google Newsista, Wikipediasta ja muista verkkolähteistä, joihin sosiaaliset puolueellisuudet ovat syvästi upotettu. Esimerkiksi tekniikkateollisuudessa hallitsevan bro-kulttuurin takia miesten nimet esiintyvät useammin tekniikkaan liittyvissä töissä - ja tämä johtaa algoritmeihin yhdistää miehet työtehtäviin, kuten ohjelmointi ja ohjelmistosuunnittelu.

"Algoritmeilla ei ole ihmismielen voimaa erottaa oikeat vääristä", lisää Tolga Bolukbasi, BU: n viimeisen vuoden tohtoriopiskelija. Ihmiset voivat arvioida toimintamme moraalia, vaikka päättäisimme toimia eettisten normien vastaisesti. Mutta algoritmeille data on lopullinen määräävä tekijä.

Saligrama ja Bolukbasi eivät olleet ensimmäiset, jotka herättivät hälytyksen tästä puolueellisuudesta. IBM: n, Microsoftin ja Toronton yliopiston tutkijat korostivat tarvetta estää algoritminen syrjintä vuonna 2011 julkaistussa lehdessä. Tuolloin algoritminen puolueellisuus oli esoteerinen huolenaihe, ja syväoppiminen ei vielä ollut löytänyt tietään valtavirtaan. Nykyään algoritminen ennakkoluulo jättää kuitenkin jo jäljennöksen monille tekemistämme asioista, kuten uutisten lukemiselle, ystävien löytämiselle, verkkokaupoille ja videoiden katselulle Netflixissä ja YouTubessa.

Algoritmisten poikkeamien vaikutus

Vuonna 2015 Google joutui pyytämään anteeksi, kun sen Photos-sovelluksen käynnistämisalgoritmit merkitsivät kaksi mustaa ihmistä gorillaksi - kenties siksi, että sen koulutustiedostossa ei ollut tarpeeksi kuvia mustista ihmisistä. Vuonna 2016 AI: n tuomien kauneuskilpailun 44 voittajasta melkein kaikki olivat valkoisia, harvat aasialaisia ​​ja vain yhdellä oli tumma iho. Syynä oli jälleen se, että algoritmi koulutettiin enimmäkseen valokuvista.

Google Photos, olet kuseen. Ystäväni ei ole gorilla. pic.twitter.com/SMkMCsNVX4

- jackyalciné ei vastaa paljon täällä. DM (@jackyalcine) 29. kesäkuuta 2015

Äskettäin IBM: n ja Microsoftin kasvojen analysointipalvelujen testissä havaittiin, että yritysten algoritmit olivat melkein virheetöntä havaita vaalean ihon miesten sukupuolta, mutta usein virheellisiä, kun heille esitettiin kuvia tumman ihon naisista.

Vaikka nämä tapaukset ovat todennäköisesti aiheuttaneet vähäisiä vahinkoja, samaa ei voida sanoa AI-algoritmeista kriittisimmillä aloilla, kuten terveydenhuolto, lainvalvonta ja rekrytointi. Vuonna 2016 ProPublican tekemässä tutkimuksessa todettiin, että COMPAS - AI-ohjattu ohjelmisto, joka arvioi rikoksentekijöiden uusiutumisen riskiä - oli puolueellinen värillisiin ihmisiin. Löytö oli erityisen huolestuttavaa, koska eräiden valtioiden tuomarit käyttävät COMPASia selvittääkseen, kuka kävelee vapaasti ja kuka jää vankilaan.

Toisessa tapauksessa syväoppimisalgoritmeilla varustetun Googlen mainosalustan tutkimuksen mukaan miehille näytettiin korkeasti palkattuja työpaikkoja koskevia ilmoituksia useammin kuin naisia. Erillisessä tutkimuksessa löydettiin samanlainen ongelma LinkedInin työpaikkailmoituksissa. Vielä yksi osoitti, että puolueelliset vuokrausalgoritmit lähettivät 50 prosenttia todennäköisemmin haastattelukutsun henkilölle, jonka nimi oli eurooppalais-amerikkalainen, kuin henkilölle, jolla on afroamerikkalainen nimi.

Alat, kuten lainan hyväksyminen, luottoluokitus ja stipendit, uhkaavat samanlaisia ​​uhkia.

Algoritminen ennakkoluulo on edelleen huolestuttava, koska se voi vahvistaa sosiaalisia puolueellisuuksia. Koska illuusiota, että AI on kylmä, matemaattisessa laskelmassa ei ole ennakkoluuloja tai puolueellisuutta, ihmisillä on taipumus luottaa algoritmisiin arviointeihin kyseenalaistamatta sitä.

Edinburgh Napier Universityn kriminologian luennoitsija Andrew Wooff havaitsi Wired UK: n kanssa tekemässään haastattelussa, että "aikapaineistettu, resurssiintensiivinen" poliisimaailma voi saada lainvalvontaviranomaiset luottamaan liikaa algoritmisiin päätöksiin. "Voin kuvitella tilanteen, jossa poliisi voi luottaa enemmän järjestelmään kuin omaan päätöksentekoprosessiinsa", hän sanoi. "Osittain se voi olla niin, että voit perustella päätöksen, kun jokin menee pieleen."

Luottamalla puolueellisiin algoritmeihin luodaan palautteen silmukka: Teemme päätöksiä, jotka luovat enemmän puolueellista tietoa, jota algoritmit analysoivat ja kouluttavat tulevaisuudessa.

Tällainen asia tapahtuu jo sosiaalisessa mediassa, kuten Facebookissa ja Twitterissä. Uutissyötteitä käyttävät algoritmit luovat "suodatinkuplia", jotka näyttävät käyttäjän mieltymyksiä ja harhakuvaa vastaavan sisällön. Tämä voi tehdä heistä vähemmän suvaitsevaisia ​​vastakkaisten näkemysten suhteen ja voi edelleen polarisoida yhteiskuntaa ajamalla kiilan läpi poliittisen ja sosiaalisen kuilun.

"Algoritmiset ennakot voivat vaikuttaa mihin tahansa ryhmään", sanoo Microsoftin vanhempi tutkija Jenn Wortman Vaughan. "Ryhmät, jotka ovat aliedustettuina tiedoissa, voivat olla erityisen vaarassa."

Alueilla, jotka tunnetaan jo puolueellisuudesta, kuten tekniikan teollisuuden endeeminen naisten syrjintä, AI-algoritmit saattavat korostaa näitä puolueellisuuksia ja johtaa edelleen syrjäytymiseen ryhmissä, jotka eivät ole hyvin edustettuina.

Terveys on toinen kriittinen alue, Wortman huomauttaa. "Se voi aiheuttaa vakavia ongelmia, jos lääketieteelliseen diagnoosiin käytettävä koneoppimisalgoritmi koulutetaan yhden väestön tiedoista, ja sen seurauksena se ei toimi hyvin muille", hän sanoo.

Bias voi olla haitallinen myös hienovaraisemmilla tavoilla. "Viime vuonna aioin viedä tyttäreni leikkaukseen ja etsin inspiraatiota verkosta kuvia" taaperojen leikkauksista "", Wortman sanoo. Mutta palautetut kuvat olivat melkein kaikki valkoisia lapsia, pääasiassa suorilla hiuksilla, ja yllättäen, pääasiassa poikia, hän huomasi.

Asiantuntijat kutsuvat tätä ilmiötä "edustavaksi vahingoksi": kun tekniikka vahvistaa stereotypioita tai vähentää tiettyjä ryhmiä. "On vaikea mitata tai mitata tällaisen harhakuvan tarkkaa vaikutusta, mutta se ei tarkoita, että se ei ole tärkeää", Wortman sanoo.

Poikkeamien poistaminen AI-algoritmeista

AI-puolueellisuuden lisääntyvät kriittiset vaikutukset ovat kiinnittäneet useiden organisaatioiden ja hallintoelinten huomion, ja joitain myönteisiä toimia on ryhdytty toteuttamaan eettiset ja sosiaaliset kysymykset, jotka liittyvät AI: n käyttöön eri aloilla.

Microsoft, jonka tuotteet luottavat suuresti AI-algoritmeihin, käynnisti kolme vuotta sitten oikeudenmukaisuutta, vastuullisuutta, läpinäkyvyyttä ja etiikkaa koskevassa tutkimusprojektissa (FATE), jonka tarkoituksena on antaa käyttäjille mahdollisuus nauttia AI-pohjaisten palvelujen parantuneista näkemyksistä ja tehokkuudesta syrjimättä ja puolueellisuus.

Joissakin tapauksissa, kuten AI: n päättämä kauneuskilpailu, AI-algoritmin puolueellisen käytöksen lähteen löytäminen ja korjaaminen voi olla yhtä helppoa kuin harjoitustiedotteen valokuvien tarkistaminen ja muuttaminen. Mutta muissa tapauksissa, kuten Bostonin yliopiston tutkijoiden tutkimassa sanan upottamisalgoritmeissa, ennakkoluulo on juurtunut harjoitustietoihin hienoimmalla tavalla.

BU-tiimi, johon liittyi Microsoftin tutkija Adam Kalai, kehitti menetelmän luokittelemaan sanan upotukset sukupuolen luokittelun perusteella ja tunnistamaan mahdollisesti puolueelliset analogiat. Mutta he eivät tehneet lopullista päätöstä ja ajoivat jokaisen epäilyttävän yhdistyksen kymmenen ihmisen toimesta mekaanisella Turkilla, Amazonin online-markkinoilla tietoon liittyviin tehtäviin, jotka päättävät, tuleeko yhdistys poistaa vai ei.

"Emme halunneet lisätä omia puolueellisuuksiamme prosessiin", sanoo BU: n professori ja tutkija Saligrama. "Tarjoimme vain työkalut ongelmallisten yhdistysten löytämiseksi. Ihmiset tekivät lopullisen päätöksen."

Uudessa lehdessä Kalai ja muut tutkijat ehdottivat erillisten algoritmien käyttöä eri ihmisryhmien luokittelemiseksi sen sijaan, että käytettäisiin samoja mittauksia kaikille. Tämä menetelmä voi osoittautua tehokkaaksi alueilla, joilla olemassa oleva tieto on jo puolueellisesti painotettu tietyn ryhmän hyväksi. Esimerkiksi algoritmit, jotka arvioivat naishakijoita ohjelmointityöhön, käyttäisivät kriteerejä, jotka soveltuvat parhaiten kyseiselle ryhmälle sen sijaan, että käytettäisiin laajempaa tietojoukkoa, johon nykyiset puolueellisuudet vaikuttavat.

Microsoftin Wortman näkee kuulumattomuuden AI-teollisuudessa välttämättömänä toimenpiteenä torjua algoritmien vääristymiä. "Jos haluamme, että AI-järjestelmät ovat hyödyllisiä kaikille eikä vain tietyille väestötieteille, yritysten on palkattava monipuolisia ryhmiä työskentelemään AI: n parissa", hän sanoo.

Vuonna 2006 Wortman auttoi perustamaan naiset koneoppimisessa (WiML), joka järjestää vuotuisen työpajan, jossa AI-teollisuudessa opiskelevat ja työskentelevät naiset voivat tavata, verkostoitua, vaihtaa ideoita ja osallistua paneelikeskusteluihin teollisuuden ja yliopistojen vanhempien naisten kanssa. Samanlainen pyrkimys on uuden Microsoftin tutkijan Timnit Gebruin perustama uusi Black in AI Workshop, jonka tarkoituksena on rakentaa monipuolisempia kykyjä AI: hen.

Bostonin yliopiston Bolukbasi ehdottaa myös, miten AI-algoritmit ratkaisevat ongelmia. "Algoritmit valitsevat sääntöjoukon, joka maksimoi niiden tavoitteen. Voi olla monia tapoja päästä samaan johtopäätösjoukkoon tietyille tuloparipareille", hän sanoo. "Otetaan esimerkki monivalintakokeista ihmisille. Saavuttaa oikean vastauksen väärällä ajatteluprosessilla, mutta siitä huolimatta saada sama pistemäärä. Laadukas testi tulisi suunnitella minimoimaan tämä vaikutus, sallimalla vain ihmisille, jotka todella tuntea kohde saadaksesi oikeita pistemääriä.Algoritmien tekeminen tietoisiksi sosiaalisista rajoituksista voidaan nähdä analogisena tämän esimerkin kanssa (vaikkakaan ei tarkkaa), jossa väärän säännön oppimisesta rangaistaan ​​tavoitteessa. Tämä on jatkuva ja haastava tutkimus aihe."

AI: n opasiteetti vaikeuttaa kohtuullisuutta

Toinen haaste, joka on asetettu tapaan tehdä AI-algoritmeja oikeudenmukaisempia, on "musta laatikko" -ilmiö. Monissa tapauksissa yritykset suojaavat algoritmeja mustasukkaisesti: Esimerkiksi rikoksia ennakoivan ohjelmiston COMPAS: n valmistaja Northpointe Inc. on kieltäytynyt paljastamasta omaa algoritmiaan. Ainoat COMPASin sisäisen toiminnan tuntevat ohjelmoijat, eivät tuomarit, jotka käyttävät sitä tuomion antamiseen.

Yritysalaisuuden lisäksi AI-algoritmeista tulee joskus niin mutkikkaita, että päätöksenteon taustalla olevat syyt ja mekanismit estävät jopa niiden luojat. Yhdistyneessä kuningaskunnassa Durhamin poliisi käyttää AI-järjestelmää HART selvittääkseen, onko epäiltyillä alhainen, kohtalainen tai korkea riski jatkaa rikoksia kahden vuoden aikana. Mutta HART: n vuoden 2017 akateemisessa katsauksessa todettiin, että "opasiteettia näyttää vaikea välttää." Tämä johtuu osittain järjestelmän käyttämästä suuresta määrästä ja monimuotoisuudesta, mikä vaikeuttaa päätöksentekojen syiden analysointia. "Nämä yksityiskohdat voitaisiin asettaa vapaasti yleisön saataville, mutta niiden ymmärtäminen vaatii valtavasti aikaa ja vaivaa", lehden mukaan.

Useat yritykset ja organisaatiot johtavat pyrkimyksiään avoimuuden lisäämiseen AI: lle, mukaan lukien Google, joka on käynnistänyt GlassBox-aloitteen, jonka tarkoituksena on tehdä koneoppimisalgoritmien käytännöstä ymmärrettävämpää uhraamatta tulosteen laatua. Puolustustutkimuksen edistyneiden tutkimushankkeiden virasto (DARPA), joka valvoo AI: n käyttöä armeijassa, rahoittaa myös pyrkimyksiä, jotta AI-algoritmit voisivat selittää päätöksensä.

Muissa tapauksissa ihmisen arviointi on avainasemassa väärinkäytösten torjumisessa. Durham Constabulary tarjosi työntekijöilleen tietoisuuden istuntoja tietoisuuteen liittyvien puolueellisuuksien estämiseksi olemassa olevien rotuun ja yhteiskuntaan liittyvien ihmisten painotuksien hiipimisen kautta HART: n algoritmeihin. Poliisi on myös ryhtynyt toimenpiteisiin rotuspiirteiden kaltaisten tietopisteiden poistamiseksi, mikä saattaa luoda perustan puolueellisille päätöksille.

Ihmisen vastuu

Eri näkökulmasta AI-algoritmit voivat tarjota mahdollisuuden pohtia omia puolueellisuuksiamme ja ennakkoluulojamme. "Maailma on puolueellinen, historiallinen tieto on puolueellinen, joten ei ole yllättävää, että saamme puolueellisia tuloksia", Sandra Wachter, Oxfordin yliopiston dataetiikan ja algoritmien tutkija, kertoi The Guardianille .

Wachter on osa Lontoon Alan Turing -instituutin ja Oxfordin yliopiston tutkimusryhmää, joka julkaisi asiakirjan, jossa kehotettiin säädöksiä ja instituutioita tutkimaan mahdollista syrjintää AI-algoritmien avulla.

Puhuessaan The Guardianille myös Bathin yliopiston tietotekniikan tutkija ja algoritmisia puolueellisuutta käsittelevän tutkimuspaperin avustaja Joanna Bryson sanoi: "Monet ihmiset sanovat osoittavan, että AI on ennakkoluuloinen. Ei. Tämä osoittaa, että me olemme ennakkoluulottomia ja että AI oppii sen."

Vuonna 2016 Microsoft julkaisi Tay, Twitter-botti, jonka piti oppia ihmisiltä ja käydä älykkäitä keskusteluja. Mutta Microsoftin piti sammuttaa se 24 tunnin sisällä Tayn käynnistämisestä aloitettuaan rasistisia kommentteja, jotka se oli poiminut keskusteluistaan ​​Twitterin käyttäjien kanssa. Ehkä tämä on muistutus siitä, että on ohi aika, että me ihmiset tunnustamme oman roolimme algoritmisen puolueellisuuden ilmiön havainnoinnissa ja leviämisessä ja ryhdymme yhteisiin toimiin sen vaikutusten kumoamiseksi.

"Tämä on erittäin monimutkainen tehtävä, mutta se on vastuu, jota meidän yhteiskunnan ei pidä välttää", Wachter sanoo.