Kuinka Googlen palapeli yrittää myrkyttää Internetiä

Internet voi tuntua myrkylliseltä paikalta. Pelit laskeutuvat kommenttiosiin ja sosiaalisen median säikeisiin vihapuheen ja häirinnän herättämiseksi muuttamalla mahdollisesti valaisevat keskustelut ad hominem -hyökkäyksiksi ja ryhmäpaaluiksi. Mielipiteiden ilmaiseminen verkossa ei usein näytä tuloksena olevan vitriolin arvoista.

Massiiviset sosiaaliset alustat - kuten Facebook, Twitter ja YouTube - myöntävät, että he eivät pysty riittävästi valvomaan näitä aiheita. He käyvät asekilpailua boteilla, peikkoilla ja kaikilla muilla ei-toivotuilla, jotka liukuvat sisällösuodattimien läpi. Ihmiset eivät fyysisesti kykene lukemaan kaikkia kommentteja verkossa; ne, jotka yrittävät, pahoittelevat sitä usein.

Teknologia-jättiläiset ovat kokeilleet erilaisia ​​ihmisen maltillisuuden, AI-algoritmien ja suodattimien yhdistelmiä kulkeakseen syötteidensä läpi virtaavan sisällön vallan läpi päivittäin. Palapeli yrittää löytää keskitie. Aakkosten tytäryhtiö ja teknologiahautomo, aikaisemmin nimeltään Google Ideas, ovat alkaneet todistaa, että ihmisen moderaattorien työkaluiksi muokattu koneoppiminen (ML) voi muuttaa tapaamme lähestyä Internetin myrkyllisyysongelmaa.

Perspektiivi on Jigsaw'n ja Googlen väärinkäytön vastaisen tekniikan tiimin kehittämä sovellusliittymä. Se käyttää ML: tä havaitsemaan väärinkäytöksiä ja häirintää verkossa, ja antaa kommentteja arvioiden perusteella, jotka heillä voi olla keskusteluun, jotta ihmisten moderaattoreiden elämä olisi helpompaa.

Perspektiivi huutaavien otteluiden keskellä

Avoimen lähdekoodin tekniikka julkistettiin ensimmäisen kerran vuonna 2017, vaikka sen kehittäminen alkoi muutamaa vuotta aiemmin. Jotkut ensimmäisistä sivustoista, joissa kokeiltiin Perspektiiviä, ovat uutistoimistot, kuten The New York Times, ja sivustot, kuten Wikipedia. Mutta äskettäin Perspective on löytänyt kotinsa sellaisilla sivustoilla kuin Reddit ja kommenttiympäristö Disqus (jota käytetään PCMag.com-sivustossa).

C perspektiivin tuotepäällikkö CJ Adams kertoi, että projekti halusi tutkia kuinka ihmisten äänet hiljennetään verkossa. Palapeli halusi selvittää, kuinka kohdennettu väärinkäyttö tai yleinen häirinnän ilmapiiri voi luoda kylmävaikutuksen, joka masentaa ihmisiä siihen pisteeseen, että heidän mielestään ei ole aikaa tai energiaa kannattavaa lisätä äänensä keskusteluun. Kuinka usein olet nähnyt twiitin, viestin tai kommentin ja päättänyt olla vastamatta, koska peikkojen torjuminen ja Mad Online -verkkoon pääsy ei vain ole pahentamisen arvoinen?

"On erittäin helppo pilata verkkokeskustelu", sanoi Adams. "On helppo hypätä sisään, mutta yksi ihminen, joka on todella ilkeä tai myrkyllinen, voi ajaa muut äänet pois. Ehkä 100 ihmistä lukee artikkelin tai aloittaa keskustelun, ja usein päätät huoneen kovimmista äänistä, jotka ovat ainoat jäljellä olevat, Internetissä, joka on optimoitu tykkäämisille ja jakamisille. Joten hiljennät kaikki nämä äänet. Silloin keskustelua määrittelee vain huoneen kovin ääni - huutaminen.

Palapeli ja Google

Jigsaw'n sisaryritykselle Googlelle on kulunut kova vuosi, joka on kamppaillut tietoturvakysymyksistä, työntekijöiden osallistumisesta osallistumiseensa Pentagonin ja Kiinan hankkeisiin sekä paljastuksia seksuaalisen häirinnän käsittelystä. Puhumattakaan kiistanalaisesta kongressin kuulemistilaisuudesta, jossa lainvalvojat grillivät toimitusjohtaja Sundar Pichain.

Aakkosten altruistisen hautomossa olevan Jigsaw: n aikana asiat ovat olleet hiukan vähemmän dramaattisia. Ryhmä on käyttänyt aikaa tutkiessaan sensuurin teknisiä muotoja, kuten DNS-myrkytyksiä sen sisäisellä sovelluksella ja DDoS-hyökkäyksiä Project Shieldin avulla. Perspektiivin suhteen tavoite on abstraktimpi. Sen sijaan, että käytettäisiin koneoppimista määrittämään, mikä on tai ei ole tiettyjen sääntöjen vastainen, Perspektiivin haaste on voimakkaasti subjektiivinen: kielen emotionaalisten vaikutusten luokittelu.

Tätä varten tarvitset luonnollisen kielen käsittelyn (NLP), joka hajottaa lauseen havaitaksesi kuviot. Perspektiivitiimi kohtaa ongelmia, kuten vahvistuksen puolueellisuus, ryhmäajattelu ja häiritsevä käyttäytyminen ympäristössä, jossa tekniikka on laajentanut heidän ulottuvuuttaan ja vaikeuttanut niiden ratkaisua.



AI on "väärin ja tyhmä joskus"

Verkkokeskustelujen parantaminen koneoppimisen avulla ei ole yksinkertaista. Se on edelleen nouseva tutkimusala. Algoritmit voivat olla puolueelliset, koneoppimisjärjestelmät vaativat loputonta parannusta, ja vaikeimmat ja tärkeimmät ongelmat ovat edelleen pitkälti tutkimatta.

Perspective luonut Conversation AI -ryhmä aloitti tapaamalla sanomalehtiä, kustantajia ja muita keskusteluja ylläpitäviä sivustoja. Jotkut ensimmäisistä tekniikan kokeilupaikoista olivat The New York Times , Wikipedia, The Guardian ja The Economist .

Vuonna 2017 ryhmä avasi alkuperäisen Perspektiivin esittelyn julkisen verkkosivuston kautta osana alfa-testiä, ja sen avulla ihmiset kirjoittivat sivustoon miljoonia turmeltuneita ja väärinkäyttäviä kommentteja. Se oli tavallaan kuin Microsoftin surullisen epäonnistunut Tay-chatbot-kokeilu, paitsi sen sijaan, että yrittäisi huijata botti vastaamaan rasistisiin twiitteihin, Jigsaw käytti joukkoväkeistä virulenssia koulutustietoina malliensa syöttämiseen, auttaen tunnistamaan ja luokittelemaan erityyppisiä online-väärinkäytöksiä.

Alkuperäinen julkinen koeajo ei sujunut sujuvasti. Wiredin "Trolls Across America", joka hajotti myrkyllisyyden kommentoidessaan koko maata Perspektiivipisteiden perusteella, osoitti, kuinka algoritmi syrjitti tahattomasti ryhmiä rodun, sukupuoli-identiteetin tai seksuaalisen suuntautumisen perusteella.

Adams oli suorapuheinen siitä tosiasiasta, että Perspektiivin alustava testaus paljasti suuret sokeat kohdat ja algoritmiset poikkeamat. Kuten Amazonin romutetut rekrytointityökalut, jotka kouluttivat vuosikymmenien ajan virheellisiä työpaikkoja koskevia tietoja ja kehittivät luontaisen puolueellisuuden naispuolisia hakijoita kohtaan, myös varhaisperspektiivin malleissa oli silmiinpistäviä puutteita niiden tietojen vuoksi, joihin sitä koulutettiin.

"Jos tarkastelit usein kohdennettujen ryhmien esimerkkiä koulutuksen tietojoukon kommenttien jakaumasta, oli häviävän pieni määrä kommentteja, jotka sisälsivät sanaa" homo "tai" feministi "ja käyttivät sitä positiivisesti ", selitti Adams. "Väärinkäyttävät kommentit käyttävät sanoja loukkauksina. Joten ML sanoo malleja tarkastellessaan:" Hei, tämän sanan esiintyminen on melko hyvä ennustaja siitä, onko tämä mielipide myrkyllinen vai ei."

Esimerkiksi alfa-algoritmi on saattanut virheellisesti merkitä lauseita, kuten "Olen ylpeä homomies" tai "Olen feministi ja transsukupuolinen", joilla on korkeat toksisuuspisteet. Mutta julkisesti läpinäkyvä koulutusprosessi - vaikkakin tuskallinen - oli arvokasta oppituntiä palapeleille tahattoman puolueellisuuden seurauksista, Adams sanoi.

Koulutettaessa koneoppimismalleja jotain niin huolestuttavaa ja henkilökohtaista kuin online-väärinkäyttö ja häirintä, algoritmisten puolueiden esiintyminen korostaa myös sitä, miksi pelkästään AI ei ole ratkaisu. Sosiaaliset yritykset, kuten Facebook ja YouTube, ovat molemmat ilmoittaneet käyttöympäristönsä AI-sisällönvalvontaominaisuuksista vain skandaalin keskellä ja kurssinkorjuuden takia palkkaamalla tuhansia ihmisiä moderaattoreiksi.

Palapelin tarra on näiden kahden yhdistelmä. Perspektiivi ei ole AI-algoritmeja, jotka tekevät päätöksiä tyhjiössä; sovellusliittymä on integroitu yhteisöhallinta- ja sisällönvalvontarajapintoihin toimimaan apuvälineenä ihmisen moderaattoreille. Perspektiivisuunnittelijat kuvaavat vihapuheen moderointia ML: n kanssa ja ilman ML: tä käyttämällä heinäsuovan analogiaa: AI auttaa automatisoimalla lajitteluprosessia, pilkkomalla valtavat heinänpätkät ja antamalla silti ihmisille viimeisen lausunnon siitä, pidetäänkö kommenttia väärinkäytöksenä tai häirintänä.

"Se on tämä ML: n uusi ominaisuus", sanoi Adams. "Ihmiset puhuvat siitä, kuinka älykäs AI on, mutta usein ei puhuta kaikista tavoista, joilla se on väärin ja tyhmä. Toisinaan alusta alkaen tiesimme, että se teki paljon virheitä, ja sanoimme:" Tämä Työkalu on hyödyllinen koneavusteisessa ihmisen moderoinnissa, mutta se ei ole valmis tekemään automaattisia päätöksiä. ' Mutta se voi viedä "neulan heinäsuovasta" -ongelman löytääkseen tämän myrkyllisen puheen ja saada siitä kourallinen heinää."



Mikä on toksisuuspiste?

Perspektiivin mallintamisen kaikkein jakautuvin osa on asettaa numerot muuttujaan, joka on yhtä subjektiivinen kuin "toksisuus". Ensimmäinen asia, jonka Adams huomautti, on, että Perspektiivin pistemäärä osoittaa todennäköisyyttä, ei vakavuutta. Suuremmat numerot edustavat suurempaa todennäköisyyttä, että tekstin mallit muistuttavat malleja kommentteissa, jotka ihmiset ovat merkinneet myrkyllisiksi.

Mitä "myrkyllinen" oikeasti tarkoittaa, Perspektiivi-ryhmä määrittelee sen laajasti "epäkohteliaksi, epäkunnioittavaksi tai kohtuuttomaksi kommentiksi, joka saa sinut todennäköisesti jättämään keskustelun." Mutta kuinka tämä ilmenee, voi olla hienovaraista. Vuonna 2018 Jigsaw työskenteli yhteistyössä Rhodes Artificial Intelligence Labin (RAIL) kanssa kehittääkseen ML-malleja, jotka voivat poimia uhkailevan tai vihamielisen puheen epäselvämpiä muotoja, kuten syrjäyttävän, laskevan tai sarkastisen kommentin, joka ei ole avoimesti vihamielinen.

Tähän saakka suurin osa Perspective-malleista on koulutettu pyytämällä ihmisiä arvioimaan Internet-kommentteja asteikolla "erittäin myrkyllinen" "erittäin terveelliseksi". Kehittäjät voivat sitten kalibroida mallin merkitäksesi kommentit tietyn kynnyksen, välillä 0, 0–1, 0, yläpuolelle. Piste, joka on yli 0, 9, osoittaa suurta myrkyllisyyden todennäköisyyttä, ja pistemäärä 0, 5 tai vähemmän tarkoittaa paljon alhaisempaa algoritmisen varmuuden astetta. Perspektiivi käyttää myös niin sanottua pisteet normalisointia, joka antaa kehittäjille yhdenmukaisen lähtötason tulosten tulkitsemiseksi. Adams selitti, että foorumista tai verkkosivustosta riippuen kehittäjät voivat sekoittaa ja sovittaa malleja. Joten kun yhteisö ei välitä rumalaisuudesta, tämä ominaisuus voidaan punnita.

Adams osoitti minulle demon moderointirajapinnan, joka on integroitu Perspective API: hon. Järjestelmänvalvoja-paneelissa, kommenttien lajitteluperusteiden, uusimpien ja niin edelleen, vaihtoehtojen vieressä, on pieni lippukuvake myrkyllisyyden mukaan lajitteluun. Siellä on myös sisäänrakennettu palautemekanismi, jonka avulla ihmisen moderaattori voi kertoa Perspectivelle, että se antoi kommentin väärin ja parantaa mallia ajan myötä.

Hän napsautti demon käyttöliittymän kautta Wikipedia Talk -sivun kommenttien valvomiseksi eri perspektiivimalleilla ja histogrammikaavion, joka eritteli, mitkä kommentit ovat todennäköisesti hyökkäys sivun kirjoittajalle tai hyökkäys toiselle kommentoijalle.

"Haluamme rakentaa koneavusteisia moderointityökaluja merkitsemään asiat ihmiselle tarkistettavaksi, mutta emme halua jotakin keskeistä määritelmää tai joku sanovan, mikä on hyvää ja huonoa", sanoi Adams. "Joten jos lajittelin myrkyllisyyden perusteella, huomaat kommenttien tulevan huipulle. Mutta jos välität enemmän, sanotaan esimerkiksi identiteettihyökkäyksistä tai uhkista kuin metriikoista, kuten vannosta, et ehkä käyttäisi yleistä myrkyllisyysmallia. ainesosia, joita voit sekoittaa. Tarjoamme näitä, ja kehittäjät painottavat niitä."

RAIL-kokeilu noudattaa yksityiskohtaisempaa lähestymistapaa. Oxfordin opiskelijat rakentavat kymmenien tuhansien kommenttien tietokantaa kanadalaisen sanomalehden Globe and Mailin kommenttiosasta ja Wikipedia Talk -sivuilta. He pyytävät ihmisten "kommentteja" vastaamaan kysymyksiin jokaisesta kommentista, jotka liittyvät "epäterveellisen sisällön" viiteen alamääritteeseen: vihamielisiin tai loukkaaviin (peikkoihin), hylkääviin, laskeviin tai holhoaviin, sarkastisiin ja epäreiluihin yleistyksiin.

Näiden hienovaraisempien ominaisuuksien asettaminen on paljastanut uusia monimutkaisia ​​ongelmia, jotka aiheutuvat tahattomasta puolueellisuudesta tiettyihin ryhmiin ja vääristä positiivisista sarkastisten kommenttien kanssa. Se on osa AI: n kasvavia kipuja, syöttäen entistä enemmän tietoja malleista, joiden avulla se ymmärtää ihmisen puheen taustalla olevia implisiittisiä, epäsuoria merkityksiä. Ryhmä on edelleen sekoittamassa ja kommentoinut tuhansia kommentteja, ja se aikoo julkaista lopullisen aineiston tämän vuoden alussa.

"Se mitä haluamme työskennellä, on jotain, jossa yhteisö voi antaa kommentteja, ja sitten voimme tehdä niistä räätälöityjä perspektiivimalleja", sanoi Adams.



Redditin utelias testipaikka

Reddit on mikrokosmos kaikesta, mikä on hyvää ja kauhistuttavaa Internetissä. Jokaisessa aiheesta ja alarajoissa on oma alaluokkayhteisö, omituinen kiinnostus, jonka voit ajatella. Palapeli ei toimi Redditin kanssa yritystasolla, mutta yksi mielenkiintoisimmista paikoista, joissa Perspektiivin AI-moderointia testataan, on r / changemyview-niminen alalaite.

Yllättäen on Internetin kulmia, joissa aitoa keskustelua tapahtuu edelleen. Vaihda oma näkymä tai CMV ei ole kuten useimmat muut alaluokat. Ajatuksena on lähettää mielipiteesi, jonka hyväksymät voivat olla puutteellisia tai avoimia vaihtamiselle, ja sitten kuunnella ja ymmärtää muita näkökulmia nähdäksesi, voivatko he muuttaa mieltäsi asiasta. Viestiketjut vaihtelevat arkipäivän aiheista, kuten Tähtien sota -elokuvien asianmukainen katselujärjestys, vakaviin keskusteluihin muun muassa rasismista, politiikasta, aseenhallinnasta ja uskonnosta.

Change My View on mielenkiintoinen testilaatta näkökulmalle, koska alalaitteella on omat yksityiskohtaiset säännöt keskustelujen aloittamiseen ja moderointiin, jotka herättävät väittelyä ja kiihkeää keskustelua suunnittelussa. Redditillä u / Snorrrlaxista ohjaava Kal Turnbull on r / changemyview: n perustaja ja yksi moderaattoreista. Turnbull kertoi PCMagille, että Perspective API noudattaa erityisen hyvin sub-yksikön sääntöä 2, joka periaatteessa kieltää töykeän tai vihamielisen puheen.

"Se kuulostaa yksinkertaiselta säännöltä, mutta siinä on paljon vivahteita", sanoi Skotlannissa toimiva Turnbull. ”On vaikea automatisoida tätä sääntöä olematta fiksu kielen suhteen. Reddit antaa sinulle tämän nimen nimeltä AutoModerator, jossa voit määrittää suodattimet ja avainsanat merkitsemistä varten. Mutta vääriä positiivisia on niin paljon, ja se voi olla melko vaikea saada kiinni, koska joku voi sanoa huonon sanan loukkaamatta ketään, ja he voivat myös loukkaa jotakuta käyttämättä huonoja sanoja."

Palapeli tavoitti Turnbullin maaliskuussa 2018. Yhteistyö alkoi säännöstä 2, mutta pian ryhmä rakensi perspektiivimalleja myös muille säännöille. Se ei ole täysin avoimen lähdekoodin Perspective API -sovelluksen integrointi, vaan pikemminkin Reddit-botti, jonka avulla moderaattorit voivat merkitä kommentit, jotka on annettu tietyn myrkyllisyyskynnyksen yläpuolelle.

Viimeisen kuuden vuoden aikana Turnbull ja muut modit ovat tehneet kaiken tämän manuaalisesti AutoModerator-raporttien (merkitty avainsanat) ja käyttäjäraporttien jonoon. Palapeli käytti moderaattoreiden vuosien sääntöjen rikkomusten muistiinpanoja, joita he seurasivat selaimen laajennuksen kautta, ja rakensi näihin tietoihin perustuvat Perspektiivimallit yhdistettynä joihinkin Perspektiivin nykyisiin myrkyllisyysmalleihin. Koko vuoden 2018 ajan CMV-moduulit antoivat palautetta mm. Liiallisista vääristä positiivisista aiheista, ja Jigsaw tarkisti pisteytyskynnyksiä samalla mallineen enemmän CMV: n sääntöjä.



Monimutkaiset tuomiot verkkokeskusteluissa

(Perspektiivibotti integroitu Reddit-moderaattorin käyttöliittymään.)

Perspektiivi ei ole aktiivinen kaikille alarajoituksen sääntömallinnuksille. Jotkut monimutkaisemmista tai abstraktimmista säännöistä ovat edelleen sen ulkopuolella, mitä tällainen ML voi ymmärtää.

Esimerkiksi sääntö 4 säätelee alaosa-alueen Delta-pistejärjestelmää, kun taas sääntö B estää käyttäjiä pelaamasta paholaisen puolustajaa tai käyttämästä postia "saippuaa". Tällainen niukattu maltillisuus vaatii asiayhteyteen liittyvää tietoa ja selvää ihmisen ymmärrystä, jotta voidaan selvittää, kiistääko joku pisteen aitoista syistä vai yksinkertaisesti uistelua.

Lähitulevaisuudessa tarvitsemme edelleen ihmisen modit. Näissä monimutkaisemmissa harkinta-skenaarioissa CMV-moderaattorit alkavat nähdä halkeamia AI-mallinnuksessa, ja fiksumpi automaatio voisi selvittää, onko kaikki tämä skaalattavissa.

"Mielestäni syy siihen, miksi tämä on niin monimutkainen, johtuu siitä, että yhdistelmä arvioimme heidän alkuperäisestä viestistään ja heidän vuorovaikutuksensa koko keskustelun aikana. Joten malli ei laukaise vain yhtä kommenttia", sanoi Turnbull. "Jos väite menee edestakaisin, ja lopussa on kommentti, jossa sanotaan" kiitos "tai kuittaus, annamme sen mennä, vaikka sääntö rikottiin aikaisemmin säikeessä. Tai kevyesti vitsi, joka asiayhteydessä saattaa näyttää olevan töykeää - se on mukava pieni ihmisen asia, ja sitä botti ei vielä saa."

Change My View on tällä hetkellä ainoa alalaite, joka käyttää aktiivisesti Perspective ML -malleja moderointiin, vaikka Adamsin mukaan joukkue on saanut pääsypyyntöjä useilta muilta. CMV: n erityiset säännöt tekivät siitä ihanteellisen testitapauksen, mutta Perspektiiviset mallit ovat muokattavia; yksittäiset alaluokat voivat mukauttaa pisteytysalgoritmin vastaamaan heidän yhteisön ohjeita.

Seuraava askel Turnbullille on CMV: n poistaminen Redditistä, koska yhteisö on kasvussa, hän sanoi. Viimeisen kuuden kuukauden aikana moderaattorien äskettäin perustettu käynnistys on työskennellyt Jigsaw'n kanssa erillisellä sivustolla, jolla on syvempi toiminnallisuus kuin Redditin mod-rajapinnalla ja robottiohjelmilla.

Projekti on edelleen vain alfa-testauksessa, mutta Turnbull puhui ominaisuuksista, kuten ennakoivista hälytyksistä, kun käyttäjä kirjoittaa kommenttia, joka voi rikkoa sääntöä, sisäänrakennetusta raportoinnista, jotta moderaattoreille saadaan enemmän asiayhteyttä, ja historiallisesta tiedosta päätöksentekoa varten. Turnbull painotti, että alaluettelon lopettamista tai siirtämistä ei ole suunnitteilla, mutta hän on innoissaan uudesta kokeilusta.

• Kaikki kommentit sopivat tulostamiseen

  Viikonpäivästä riippuen The New York Timesin verkkosivuilla on 12 000 kommenttia yli 18 000 kommenttiin. Vuoden 2017 puoliväliin saakka kokopäiväisen yhteisön hallintohenkilökunnan moderaattorina olivat lehden kommenttiosastot, jotka lukevat jokaisen kommentin ja päättivät sen hyväksyvän tai hylkäävänsä.

  Bassey Etim, joka tähän kuukauteen saakka oli Timesin yhteisöedustaja, vietti vuosikymmenen yhteisön työpöydällä ja oli sen toimittaja vuodesta 2014. Arkipäivän huipulla joukkueella saattaa olla muutama ihminen moderoimaan mielipidetarinoiden kommentteja, kun taas toiset käsiteltiin uutisia. Laskentataulukko jakoi ja seurasi erilaisia ​​vastuita, mutta noin kymmenen ihmisen joukkue siirrettiin jatkuvasti uudelleen tai muutettiin ympäriinsä ajankohtaisista uutisista riippuen. He myös syötivät huomautuksista palautetta toimittajille potentiaalisesta tarinasyötteestä.

  Lopulta kävi selväksi, että kyseessä oli enemmän kuin 12 ihmistä. Tarinoita koskevat kommenttiosastot olisi suljettava saavutettaessaan enimmäismäärä kommentteja, joita joukkue voisi valvoa.

  Sanomalehden yleisökehitysryhmä oli jo kokeillut koneoppimista perustiedot, selkeät kommenttihyväksynnät, mutta Etim sanoi, että se ei ollut erityisen älykäs tai muokattavissa. The Times ilmoitti ensimmäisen kerran kumppanuudestaan ​​Jigsaw'n kanssa syyskuussa 2016. Sen jälkeen sen kommenttiosat ovat laajentuneet näkymisestä alle 10 prosentissa kaikista tarinoista nykyään noin 30 prosenttiin ja kiipeilyyn.

  Jigsaw'n näkökulmasta inkubaattori näki mahdollisuuden syöttää Personic-nimettömiä tietoja miljoonista kommentteista päivässä, ja niitä hallitsivat ammattilaiset, jotka voivat auttaa prosessin hienosäätössä. Vastineeksi nimettömälle ML-koulutustiedolle Jigsaw ja Times työskentelivät yhdessä rakentaakseen moderaattorialustan, joka otettiin käyttöön kesäkuussa 2017.



Inside Moderator, NYT kommenttirajapinta

(Kuva: The New York Times )

Moderaattori yhdistää Perspective-mallit yli 16 miljoonaan nimettömään, moderoituun Timesin kommenttiin vuodesta 2007.

Se mitä yhteisötiimi todella näkee moderaattorin käyttöliittymässä, on kojelauta, jossa on interaktiivinen histogrammi-kaavio, joka havainnollistaa kommentin erittelyä tietyn kynnyksen yläpuolella. He voivat vetää liukusäädintä esimerkiksi eteenpäin, jotta kaikki kommentit hyväksytään automaattisesti 0 - 20 prosentin yhteenvetopisteellä, joka perustuu yhdistelmään kommentin potentiaalisesta törmäyksestä, myrkyllisyydestä ja hylkäämisen todennäköisyydestä. Alla on nopea moderointipainike, jolla voit hyväksyä tai hylätä kommentin, lykätä sitä tai merkitä kommentin, jotta Perspektiivin mallintamista voidaan edelleen parantaa.

"Analysoimme jokaisessa verkkosivuston osassa saapuvat kommentit ja sen, miten Perspektiivi merkitsisi ne. Käytimme sekä julkisen perspektiivin malleja että omia malleja, jotka ovat ainutlaatuisia The New York Timesille ", sanoi Etim. "Analysoisin kunkin osan kommentteja ja yritän löytää rajapisteen, jossa olisimme mukavat sanoen:" OK, kaikki tämän todennäköisyyden yläpuolella käyttämällä näitä erityisiä myrkyllisyysmerkkejä, kuten esimerkiksi säädyllisyyttä, aiomme hyväksyä."

Koneoppimisella hyväksytään suhteellisen pieni prosenttiosuus kommentteja (noin noin 25 prosenttia, Etim sanoi), koska Times pyrkii levittämään kommentteja enemmän tarinoita ja lopulta jopa mukauttamaan, kuinka mallit suodattavat ja hyväksyvät kommentit sivuston eri osioille. Mallit hyväksyvät vain kommentit; ihmisen moderaattorit hoitavat edelleen kokonaan hylkäämisen.

Ne manuaaliset kommenttirajoitukset ovat poissa. Kommentit sulkeutuvat yleensä tarinaan joko 24 tuntia sen julkaisemisen jälkeen verkossa tai seuraavana päivänä sen jälkeen, kun se julkaistaan ​​painettuna, Etim sanoi.

"Emme korvaa sinua koneilla"

Seuraava vaihe on rakentaa järjestelmään lisää ominaisuuksia, joiden avulla moderaattorit priorisoivat ensin kommentit. Yhä useammin manuaalisen prosessin automatisointi on antanut moderaattoreille mahdollisuuden viettää aikaa aktiivisesti toimittajien kanssa vastata kommentteihin. Se on luonut palautteen silmukan, jossa kommentit johtavat seurantaraportointiin ja lisäjuttuihin - voi säästää ja kohdistaa resursseja uudelleen luodaan lisää journalismia.

"Moderaattori ja Perspective ovat tehneet Timesista paljon vastaavamman lukijoiden huolenaiheisiin, koska meillä on resursseja siihen, joko kirjoittamalla tarinoita itse tai työskentelemällä toimittajien kanssa tarinoiden selvittämiseksi", Etim sanoi. "Hieno asia tässä projektissa on, että emme lomauttaneet ketään. Emme korvaa sinua koneilla. Käytämme yksinkertaisesti ihmisiä, jotka meillä on tehokkaammin, ja tehdä todella vaikeita päätöksiä."

Lehti on avoin yhteistyölle muiden julkaisujen kanssa auttaakseen muuta teollisuutta ottamaan käyttöön tällaisen tekniikan. Se voi auttaa paikallisia uutiskirjeitä rajoitetulla resurssilla pitämään kommenttiosioita ilman suurta omistautunutta henkilökuntaa ja käyttämään kommentteja kuten Times , etsimään potentiaalisia viittauksia ja lisäämään ruohonjuuritason journalismia.

Etim vertasi AI-avustettua maltillisuutta siihen, että viljelijälle annettiin mekaaninen aura versio lapio. Voit tehdä työn paljon paremmin auralla.

"Jos näkökulma voi kehittyä oikealla tavalla, se voi toivottavasti luoda ainakin joukon ohjeita, jotka voidaan toistaa pienille markkinoille", hän sanoi. "Se on pitkä peli, mutta olemme jo perustaneet paljon perustaa ollakseen osa lukijakokemusta. Ehkä nämä paikalliset lehdet voivat taas kommentoida ja perustaa pienen rantapäätä suuria sosiaalisia toimijoita vastaan."



Screaming syvyyteen

Tässä vaiheessa suurin osa meistä on nähnyt ihmisiä hyökkäämästä tai häirinnästä sosiaalisessa mediassa mielipiteen ilmaisemiseksi. Kukaan ei halua, että sen tapahtuu heille, paitsi peikot, jotka viihtyvät sellaisesta asiasta. Ja olemme oppineet, että huutaminen muukalaiselta, joka ei tule koskaan kuuntelemaan järkeviä väitteitä, ei ole aikamme arvokasta käyttöä.

Perspektiivi yrittää nostaa tätä dynaamista, mutta CJ Adams kertoi, että laajempi tavoite on julkaista tietoja, tutkimusta ja uusia avoimen lähdekoodin UX-malleja uusien keskustelurakenteiden luomiseksi - pelottava tehtävä. Internetistä terveellisen, ihmisten aikaa kannattavan paikan tekeminen merkitsee näiden järjestelmien skaalaamista uutiskommenttiosioiden ja alaluokkien ulkopuolelle. Viime kädessä AI-työkalujen on kyettävä käsittelemään arjen sosiaalisia sovelluksia ja verkostoja, jotka hallitsevat päivittäistä digitaalista vuorovaikutustamme.

Kun sivuutetaan se, mitä Facebook, Twitter ja muut sosiaaliset jättiläiset tekevät sisäisesti, suorin tapa saavuttaa tämä on siirtää tekniikka moderaattoreilta käyttäjille itse. Adams huomautti koralliprojektista ideasta siitä, miltä se näyttää.

Coral-projekti perustettiin alun perin yhteistyönä Mozilla-säätiön, The New York Timesin ja Washington Postin välillä. Coral rakentaa avoimen lähdekoodin työkaluja, kuten Talk-alustaa, rohkaistakseen keskustelua verkossa ja tarjoamaan uutissivustoille vaihtoehdon kommenttiosioiden sulkemiseen. Talk valtaa tällä hetkellä lähes 50 verkkojulkaisijan alustoja, kuten Post , New York Magazine, The Wall Street Journal ja The Intercept.

Aiemmin tässä kuussa Vox Media osti koralliprojektin Mozilla-säätiöltä; se aikoo "integroida sen syvästi" Chorusiin, sen sisällönhallinta- ja tarinankeräysalustaan.

Perspektiivillä on laajennus Coral-projektille, joka käyttää samaa taustalla olevaa tekniikkaa - ML-pohjaisia ​​toksisuuspisteitä ja kynnysarvoja - antaa käyttäjille ennakoivia ehdotuksia kirjoittaessaan, Adams sanoi. Joten kun käyttäjä kirjoittaa kommentin, joka sisältää väärinkäytökseksi tai häirinnäksi merkittyjä lauseita, käyttäjälle saattaa ilmestyä ilmoitus, jossa sanotaan: "Muista ennen viestin lähettämistä, muistakaa yhteisön ohjeet" tai "Tämän kommentin kieli saattaa rikkoa yhteisön ohjeet. Valvojaryhmämme tarkistaa sen pian."

"Tuo pieni nyrkki voi auttaa ihmisiä ajattelemaan vain sekunnin ajan, mutta se ei myöskään estä ketään", sanoi Adams. "Se ei pysäytä keskustelua."

Se on mekanismi, jonka videopelikeskustelut ja streaming-alustat ovat integroituneet estääkseen väärinkäytöt ja häirinnät. Myös Twitter-käyttäjät voivat selvästi hyötyä tällaisesta järjestelmästä.

Se puhuu ajatukseen, jonka MIT-tutkija Andrew Lippmann esitti PCMagin Tulevaisuus-julkaisussa: Hän puhui sisäänrakennetuista mekanismeista, joiden avulla ihmiset voisivat pysähtyä ja ajatella ennen kuin he jakoivat jotain verkossa auttaakseen väärää tiedon leviämistä. Konsepti koskee myös verkkokeskustelua. Olemme luoneet kitkattomia viestintäjärjestelmiä, jotka pystyvät vahvistamaan lausunnon ulottuvuutta eksponentiaalisesti hetkessä, mutta joskus pieni kitka voi olla hyvä asia, Lippmann sanoi.

Perspektiivissä ei ole kyse AI: n käytöstä vilttiratkaisuna. Se on tapa muokata ML-malleja ihmisten työkaluiksi, joiden avulla he voivat kurata omia kokemuksiaan. Mutta yksi vastakohta on, että jos autat ihmisiä vieläkin helpottamaan verkkomelun virittämistä, josta he eivät pidä, Internetistä tulee entistä enemmän kaikukammio kuin se on jo.

Kysyttäessä, voivatko Perspektiivin kaltaiset välineet tätä lopulta pahentaa, Adams sanoi uskovansa, että online-kaikukammioita on olemassa, koska ei ole mekanismeja keskustelun järjestämiseksi, jossa ihmiset voivat mielestäni olla eri mieltä.

"Vähiten vastustuskyky on" Nämä ihmiset taistelevat. Annetaan heidän vain sopia itseään omissa nurkissaan. Annetaan ihmisten siloida itsensä ", hän sanoi. "Annoit ihmisten huutaa kaikkia muita huoneesta, tai suljet keskustelun. Haluamme Perspektiivin luoda kolmannen vaihtoehdon."

Adams hahmotteli näyteskenaarion. Jos kysyt 1000 ihmisen huoneelta: "Kuinka moni teistä lukee tänään jotain, josta todella välittelitte?" useimmat Internetin käyttäjät osoittavat artikkelin, twiitin, viestin tai jotain mitä he lukevat verkossa. Mutta jos kysyt heiltä: "Kuinka moni teistä piti ajankohtaisen arvoista kommentoida sitä tai keskustella?" kaikki huoneen kädet laskeutuvat.

"Niin monille meistä, se ei vain ole vaivan arvoista. Keskustelurakenne, joka meillä on tällä hetkellä, tarkoittaa vain, että se on vastuu. Jos sinulla on nykyinen järkevä ajatus tai jotain, jonka haluat jakaa, useimmille ihmisille, he eivät" ei halua osallistua ", sanoi Adams. "Tämä tarkoittaa, että tuhatta ihmistä, jotka voisivat olla huoneessa, sinulla on vain kourallinen edustajia keskusteluissa; sanotaan esimerkiksi, 10 henkilöä. Uskon syvästi, että voimme rakentaa rakenteen, joka antaa kyseisen muun 990: n palata keskusteluun. ja tekee sen tavalla, jonka he löytävät aikansa arvoiseksi."