Ibm watson auttaa yliopisto-opiskelijoita oppimaan mandariinia

Yliopistot ovat saavuttaneet pitkän matkan kieliopinnoissaan siirtyessään pelkkien perinteisten luokkien ulkopuolelle luentosalissa ja ennalta nauhoitettuihin oppitunteihin ilman vuorovaikutusta. Nyt opiskelijoilla on pääsy tekniikoihin, kuten tekoäly (AI) ja luonnollisen kielen käsittely (NLP), kiehtovaan oppimisympäristöön. Niin tapahtuu kognitiivisessa ja immersiivisessä järjestelmälaboratoriossa (CISL) Troyssa, New Yorkissa, Rensselaerin ammattikorkeakoulun kampuksella. Täällä instituutti on ryhtynyt yhdessä IBM Researchin kanssa luomaan tekniikan kuuden viikon kesäkurssille, jossa opiskelijat ovat vuorovaikutuksessa AI-edustajien kanssa ympäristöissä, joihin kuuluvat katumarkkinat ja ravintolat.

Kurssilla, jonka otsikko on "AI-avusteinen immersiivinen kiinalainen", on 360 asteen panoraamakuvajärjestelmä tietokoneella tuotettavista kohtauksista laboratorion kognitiivisessa immersiivisessä huoneessa (CIR), jota kutsutaan myös "tilannehuoneeksi". Virtuaali kohtaukset tapahtuvat Kiinassa. Opiskelijat keskustelevat Watson Assistentin käyttämien avatarien kanssa ja korjaavat puhettaan ja ääntämistä. CIR: ssä opiskelijat käyttävät keskustelevaa AI: ta, narratiivista sukupolvea, alueellista tilannetietoisuutta sekä ele- ja kasvojentunnistustekniikkaa.

CIR on esimerkki IBM Watsonin monipuolisesta potentiaalista monilla aloilla koulutuksen lisäksi. Näitä toimialoja ovat maatalous, henkilöstö (HR) ja laivaston hallinta.

RPI: llä opiskelijat käyttävät Watson Assistantin lisäksi Watson Speech to Text, Watson Text to Speech ja kielenkääntäjää opinnoissaan.

Opiskelijat oppivat mandariinin käyttämällä AI: tä RPI-kampuksella. (Kuvaluotto: IBM Research / RPI)

Aktiivinen oppimiskokemus

RPI: n nuoremmalle Julian Wongille syventävä AI-kokemus oli houkutteleva tapa oppia mandariinia, koska se antaa hänelle aktiivisemman tavan oppia. Koska mandariini on tonaalinen kieli, jolla sävelkorkeuden muutos voi muuttaa sanojen merkitystä, AI-kokemuksen avataarit antavat palautetta äänestä, jotta varmistetaan, että Wong ja muut opiskelijat saavat ääntämiset oikeiksi.

WI: n mukaan työskentely AI: n kanssa CIR: ssä tarjoaa mukavan tasapainon normaalin luokka-ajan kanssa. "Tapaaminen puhuaksesi tietokoneen kanssa auttaa ehdottomasti monia kielen oppimisen näkökohtia, erityisesti sanallista taitoa", Wong sanoi.

Wongin mandariiniluokka kokoontuu neljä kertaa viikossa. Maanantaisin ja perjantaisin hän käy luokassa perinteisessä luokkahuoneessa RPI: n apulaisprofessorin Helen Zhoun kanssa. Siellä hän oppii uutta sanastoa ja saa johdannon lauseisiin ja kielioppirakenteisiin. Tiistaisin ja torstaisin luokka kokoontuu CIR: ssä, jossa opiskelijat käyvät keskusteluja virtuaaliagenttien kanssa. Ravintolaympäristössä Wong sanoi, että opiskelijat voivat käydä läpi koko prosessin istuakseen ravintolassa, tarkastelemalla valikkoa, tilaamalla ruokaa, puhuessaan tarjoilijan kanssa ruoan valmistuksesta ja maksamalla laskun. Muita ympäristöjä ovat puutarha, markkinat ja koulun kampus.

Mandariini-luokka kiehtovassa luokkahuoneessa eroaa perinteisestä ympäristöstä, koska se tarjoaa Zhou: n mukaan multimodaalisen kokemuksen kielestä ja videosta. Hän sanoi, että perinteinen luokka olisi vähemmän syventävä ja vuorovaikutteinen. "Sisällyttävän luokkahuoneen simulaatiossa meillä on kaksi agenttia taistelemaan keskenään ja yrittämään vakuuttaa opiskelijat ostamaan tuote", Zhou sanoi. "Joten opiskelijat ymmärtäisivät henkilökohtaisen kokemuksen sijasta videoiden katselun tai vain luentojen kuuntelun. Uskon, että he nousivat kulttuuriin helpommin kuin vain oppimalla oppikirjoista tai kuuntelemalla nauhoja."

CIR: ssä opiskelijat osallistuvat kohtauksiin liittyviin tietokilpailuihin, joiden kanssa he ovat olleet vuorovaikutuksessa, ja nostavat kätensä antaakseen vastauksensa. Huoneen kameroista tuleva tietokonetekniikka kaappaa eleensä. AI-avustaja antaa kohtaukseen liittyvän tietokilpailun, ja opiskelijoiden on vastattava lauseella kiinan kielellä.

"Jos haluat valita jonkin ruudulla näkyvistä ponnahdusikkunoista, voit ojentaa kättäsi, avata kämmenen ja sulkea käden", Wong selitti. "Voit valita minkä tahansa kohdistimen tällä hetkellä on. Jos tiedät, mikä on oikea vastaus pieniin tietokilpailuihin, siirrä kätesi valitsimillesi merkkeille ja sulje sitten kätesi valitaksesi ne. Se ilmoittaa sinulle, onko sinulla oikein vai ei."

Virtuaaliagentti ymmärtää opiskelijat suurimman osan ajasta, paitsi silloin, kun heillä ei ehkä ole mikrofonia suuhunsa. Järjestelmässä on erilaisia ​​äänentunnistusasetuksia, jotka poimivat opiskelijat, jos he eivät ole ääntämisessä. Se tarjoaa myös välitöntä palautetta keskustelussa, jos sinulla ei ole professoria. Mandariiniluokan opiskelijat menevät omalla ajallaan verkkosivustolle päästäkseen äänileikkeisiin harjoitteluun.

Upea ominaisuus RPI: n kiehtovasta kokemuksesta on alueellinen tilannetietoisuus, jossa useat näytön virtuaaliset edustajat voivat kertoa, kenen kanssa olet tekemässä silmäkosketusta. "Jos sanot jotain katsellessasi yhtä edustajaa, silloin agentti vastaa eikä toinen", Wong sanoi.

Opiskelija käyttää IBM Watson-elettä ja kasvojentunnistustekniikkaa osana mandariini-luokkaa RPI: ssä. ( Kuvaluotto : IBM Research / RPI )

Kuinka immersive kokemus kehittyi

Syventävä kokemus RPI: ltä syntyi, kun kieliprofessorit ja pelisuunnitteluprofessorit tapasivat keskustellakseen paremmasta tavasta opettaa kieltä. Suunnitelma roolipelien kehittämiseksi tuli pian keskusteluksi siitä, kuinka mandariinia voidaan opettaa simuloimalla tosielämän skenaarioita, Hui Su: n mukaan, joka on sekä IBM Researchin kognitiivisen käyttökokemuksen johtaja että CISL: n johtaja. IBM ja RPI aloittivat kurssin kehittämisen vuoden 2015 lopulla, ja he perustivat tuolloin yhteisen laboratorion. CISL muotoutui sitten pian sen jälkeen.

"Laboratorion tarkoituksena on rakentaa kognitiivinen ja syventävä ympäristö parantamaan ryhmätoimintoja, lisäämään ryhmän älykkyyttä oppimisen ja päätöksenteon yhteydessä", Su sanoi. "Keskitymme myös kognitiivisten syventävien kokoushuoneiden rakentamiseen… tarkastelemaan kriittisen tilanteen tietoja ja yrittämään ymmärtää tiedot ja luoda päätöksiä tai suosituksia päätöksentekijöille."

Osana AI-kieltenoppimisohjelmaa IBM ja RPI kokeilevat sävelkorkeusanalyysiä. Su kuvasi kuinka tämä tekniikka toimii. "Kun puhut tavua, ääntäessäsi tavan, taustalla oleva tekniikka vangitsee äänen, ja se luo visuaalisen muodon siitä, kuinka äänet tämän tavan", Su sanoi. "Sitten se käyttää kyseistä visuaalista muotoa ja vertaa sitä visuaalista muotoa äidinkielenään puhuvan visuaalisen muodon kanssa."

Opiskelijat voivat sitten säätää ääntämistä oikean sävyn saavuttamiseksi. He oppivat, että heidän on muutettava tiettyjen tavujen ääntämisiä. Tietojen avulla, jotka opiskelijat saavat oppiessaan mandariinia syventävässä luokkahuoneessa Watson-tekniikan avulla, he saavat enemmän luottamusta keskustelemaan tosielämässä Su: n mukaan.

"Koko idea on tarjota riittävän kulttuurinen ympäristö ympäröivän ympäristön ja AI-tekniikan kautta, jotta opiskelijat voivat harjoittaa harjoitusta", Su sanoi. "Joten heillä ei ole pelkoja, kuten puhua ihmisille tosielämässä."

Opiskelija harjoittaa mandariinia virtuaalisessa ravintolaympäristössä käyttämällä IBM Watson tech -tekniikkaa. ( Kuvaluotto : IBM Research / RPI )

Silta tekniikan ja akateemisen alan välillä

IBM ja RPI kykenevät rakentamaan sillan IBM: n tutkijoiden ja tiedekunnan jäsenten välille IBM: n upottaessa kampuksen tutkijan, nimittäin Su: n. Samaan aikaan RPI: n luokan professori Zhou antaa palautetta suunnittelijoille, käyttäjille ja opettajille siitä, kuinka parantaa kiehtovaa kokemusta luokkahuoneessa.

"Minun on annettava heille välitöntä palautetta virheenkorjausta tai parantamista varten, jotta voimme tarjota luonnollisemman luokkahuoneen opiskelijoille", Zhou sanoi. "Joten mukana on paljon työtä, mutta se on sen arvoista."

Kielen oppimisen tulevaisuus

• Paras kielenoppimisohjelma vuodelle 2019 Paras kieltenoppimisohjelma vuodelle 2019
• IBM julkaisee valmiiksi valmistetut Watson AI -työkalut useilla aloilla IBM julkaisee valmiiksi valmistetut Watson AI -työkalut useilla aloilla
• Puhuuko AI todella kieltämme? Puhuuko AI todella kieltämme?

Tämän tyyppinen ympäröivä ympäristö on arvokasta, koska Zhou väittää kykynsä tarjota näennäisesti tosielämäympäristö. "AI: n kiehtova ympäristö ei voi vain parantaa opiskelijoiden puhetta ja kuuntelua, vaan myös käytännöllisiä kielen käyttöä tosielämän tilanteissa", Zhou sanoi. "Siksi AI on ihanteellisempi minulle ohjaajana, jotta opiskelijat saavat käsityksen kielen käytöstä jo varhaisessa vaiheessa, jopa aloittelijoille, matkustamatta maahan."

RPI: n tarjoamien kaltaiset multimodaaliset oppimisympäristöt laajentavat AI: n roolia luokkahuoneessa. Kokemuksen perusteella, jonka AI tarjoaa virtuaaliagenttien kautta, opiskelijat ovat valmiita käsittelemään erilaisia ​​skenaarioita todellisessa maailmassa tarvittavalla kielitaidolla.