Miksi koneoppiminen on tulevaisuutta

Tämän kuun SC16-supertietokonferenssissa esiintyi kaksi trendiä. Ensimmäinen on Intelin uusimman Xeon Phi (Knights Landing) ja Nvidian uusimman Teslan (Pascal-pohjainen P100) esiintyminen maailman nopeimpien tietokoneiden Top500-luettelossa; molemmat järjestelmät laskeutuivat kymmenen parhaan joukossa. Toinen painottaa sitä, kuinka siru- ja järjestelmänvalmistajat ottavat konsepteja nykyaikaisista koneoppimisjärjestelmistä ja soveltavat niitä supertietokoneisiin.

Top500-luettelon nykyisessä versiossa, jota päivitetään kahdesti vuodessa, kaavion kärki on edelleen tiukasti Sunway TaihuLight-tietokoneen, Kiinan kansallisen superlaskentakeskuksen Wuxissa, ja Tianhe-2-tietokoneen, Kiinan kansallisen supertietokoneen käsissä. Kantonin keskus, kuten se on ollut kesäkuun ISC16-näyttelyn jälkeen. Mikään muu tietokone ei ole lähellä kokonaissuorituskykyä, ja kolmannen ja neljännen sijan järjestelmät - edelleen Titan-supertietokone Oak Ridgessä ja Sequoia-järjestelmä Lawrence Livermoressa - tarjoavat molemmat noin puolet Tianhe-2: n suorituskyvystä.

Ensimmäinen niistä perustuu ainutlaatuiseen kiinalaiseen prosessoriin, 1, 45 GHz SW26010, joka käyttää 64-bittistä RISC-ydintä. Siinä on vertaansa vailla 10 649 600 ydintä, joka tuottaa 125, 4 petaflopsia teoreettista huipputehoa ja 93 petaflops maksimaalista mitattua suorituskykyä Linpack-vertailuarvossa käyttäen 15, 4 megawattia tehoa. On huomattava, että vaikka tämä kone ylittää Linpack-suorituskyvyn listat valtavalla marginaalilla, se ei ole aivan yhtä hyvä muissa testeissä. On muitakin vertailuarvoja, kuten High Performance Conjugate Gradients (HPCG) -vertailu, jossa koneilla on tapana nähdä vain 1–10 prosenttia teoreettisesta huipputehokkuudestaan ​​ja joissa huippujärjestelmä - tässä tapauksessa Riken K-kone - tuottaa edelleen vähemmän kuin 1 petaflop.

Mutta Linpack-testit ovat standardi puhuttaessa korkean suorituskyvyn tietojenkäsittelystä (HPC) ja siitä, mitä Top500-luettelossa luodaan. Linpack-testejä käyttämällä nro 2 -kone, Tianhe-2, oli kaavion kärjessä muutaman viime vuoden ajan, ja siinä käytetään Xeon E5 ja vanhempia Xeon Phi (Knights Corner) -kiihdyttimiä. Tämä tarjoaa 54, 9 petaflopsia teoreettisesta huipputehokkuudesta ja vertailuarvot 33, 8 petaflopsille Linpackissa. Monet tarkkailijat uskovat, että Xeon Phin (Knights Landing) uusimpien versioiden vientikielto johti kiinalaiset luomaan oman supertietokoneprosessorin.

Knights Landing, muodollisesti Xeon Phi 7250, oli merkittävässä roolissa luettelon uusissa järjestelmissä, alkaen Laworin Berkeleyn kansallisen laboratorion Cori-supertietokoneen tullessa viidennelle sijalle. Huipputeho oli 27, 8 petaflops ja mitattu suorituskyky 14 petaflops.. Tämä on Cray XC40 -järjestelmä, joka käyttää Oinas-liitosta. Huomaa, että Knights Landing voi toimia pääprosessorina, ja 68 ydintä prosessoria kohti tuottaa 3 huipputeraflopsia. (Intel ilmoittaa hinnastossaan toisen sirun version, jossa on 72 ydintä, 3, 46 teraflopsin huipputeoreettisella huipputehoisella suorituskyvyllä, mutta mikään luettelossa olevista koneista ei käytä tätä versiota, ehkä siksi, että se on kalliimpi ja kuluttaa enemmän energiaa.)

Aikaisemmin Xeon Phis pystyi toimimaan vain kiihdyttiminä järjestelmissä, joita perinteiset Xeon-prosessorit kontrolloivat. Kuudennella sijalla oli Japanin korkean suorituskyvyn tietokoneiden yhteisen keskuksen Oakforest-PACS-järjestelmä, joka sai 24.9 huippunopeuden. Tämän on Fujitsu rakentanut Knights Landingin ja Intelin Omni-Path-yhteyksien avulla. Knights Landing käytetään myös nro 12 -järjestelmässä (Marconi -tietokone CINECAssa Italiassa, rakentaa Lenovo ja käyttää Omni-Pathia) ja nro 33 -järjestelmässä (Camphor 2 Japanin Kioton yliopistossa, rakentaa Cray ja käyttää Oinasta) interconnect).

Nvidia oli myös hyvin edustettuna uudessa luettelossa. Nro 8 -järjestelmä, Piz Daint, Sveitsin kansallisessa superlaskentakeskuksessa, päivitettiin Cray XC50: ksi Xeonsin ja Nvidia Tesla P100: n kanssa, ja tarjoaa nyt vajaat 16 petaflopsia teoreettista huipputehoa ja 9, 8 peflapsia Linpack-suorituskyvystä - iso päivitä huippusuorituskyvyn 7, 8 petaflopsia ja Linpack-suorituskyvyn 6, 3 petaflopsia aikaisempaan iteraatioonsa, joka perustui Cray XC30 Nvidia K20x -kiihdyttimiin.

Toinen luettelossa oleva P100-pohjainen järjestelmä oli Nvidian oma DGX Saturn V, joka perustui yhtiön omaan DGX-1-järjestelmään ja Infiniband-liitäntään, joka tuli luettelossa nro 28. Huomaa, että Nvidia myy nyt sekä prosessoreita että DGX-1 -laitetta, joka sisältää ohjelmiston ja kahdeksan Tesla P100 -laitetta. DGX Saturn V -järjestelmässä, jota Nvidia käyttää sisäiseen AI-tutkimukseen, saadaan melkein 4, 9 huippunopeutta ja 3, 3 Linpack -sarjaa. Mutta mitä Nvidia huomauttaa, se käyttää vain 350 kilowattia voimaa, mikä tekee siitä paljon energiatehokkaamman. Seurauksena on, että tämä järjestelmä johtaa Green500-luetteloa energiatehokkaimmista järjestelmistä. Nvidia huomauttaa, että tämä on huomattavasti vähemmän energiaa kuin Xeon Phi -pohjaisessa Camphor 2 -järjestelmässä, jolla on samanlainen suorituskyky (lähes 5, 5 petaflops-huippua ja 3, 1 Linpack -petaflops).

Se on mielenkiintoinen vertailu Nvidian toimesta parempaan energiatehokkuuteen GPU: issa ja Intelin tutustuneempaan ohjelmointimalliin. Olen varma, että tulemme lisää kilpailua tulevina vuosina, koska erilaiset arkkitehtuurit kilpailevat nähdäkseen, kumpi niistä saavuttaa ensimmäisenä "exascale-tietotekniikan" tai päätyykö sinne sen sijaan kiinalainen kotikasvatus. Tällä hetkellä Yhdysvaltain energiaministeriön Exascale Computing Project odottaa ensimmäisten eksaskalolaitteiden asennettavan vuonna 2022 ja toimimaan seuraavana vuonna.

Minusta on mielenkiintoista huomata, että huolimatta siitä, että painotetaan monia ytimen kiihdyttimiä, kuten Nvidia Tesla ja Intel Xeon Phi -ratkaisuja, vain 96 järjestelmää käyttää tällaisia ​​kiihdyttimiä (mukaan lukien ne, jotka käyttävät yksin Xeon Phi: tä); verrattuna 104 järjestelmään vuosi sitten. Intel on edelleen suurin sirujen tarjoaja, siruillaan 500 suosituimmasta järjestelmästä 462, seuraavana IBM Power -prosessorit 22. Hewlett-Packard Enterprise loi 140 järjestelmää (mukaan lukien Silicon Graphicsin rakentamat, jotka HPE hankki), Lenovo rakensi. 92 ja Cray 56.

Koneoppimiskilpailu

Näyttelyssä tai sen ympäristössä järjestettiin useita ilmoituksia, joista suurin osa koski jonkinlaista tekoälyä tai koneoppimista. Nvidia ilmoitti tekevänsä yhteistyötä IBM: n kanssa uudessa syvälle oppivassa ohjelmistopaketissa nimeltään IBM PowerAI, joka käyttää IBM Power -palvelimia Nvidian NVLink-liitännän avulla.

Sekä HPC: n että koneoppimisympäristössä jälkikäteen harkittu AMD pyrkii muuttamaan sitä. Tällä alueella yritys keskittyi omiin Radeon-GPU: iinsa, työnsi FirePro S9300 x2 -palvelimen GPU: ita ja ilmoitti kumppanuudesta Google Cloud Platformin kanssa, jotta sitä voidaan käyttää pilven yli. Mutta AMD ei ole investoinut niin paljon ohjelmistoihin, jotka suunnittelevat GPU-ohjelmointia, koska se on korostanut OpenCL: ää Nvidian omaisemman lähestymistavan yli. Näyttelyssä AMD esitteli uuden version Radeon Open Compute Platformista (ROCm) ja kertoi suunnitelmista tukea GPU: taan heterogeenisissä laskentaohjelmissa, joissa on useita CPUja, mukaan lukien tulevat "Zen" x86 -suorittimet, ARM-arkkitehtuurit, jotka alkavat Caviumin ThunderX: llä ja IBM Power 8 -suorittimet.

Näyttelyssä Intel puhui uuden version nykyisestä Xeon E5v4 (Broadwell) -piiristä, joka on viritetty liukulukujen kuormituksille, ja siitä, kuinka seuraava Skylake-alustalle perustuva versio on tarkoitus julkaista ensi vuonna. Mutta myöhemmässä tapahtumassa, sillä viikolla, Intel antoi sarjan ilmoituksia, joiden tarkoituksena oli sijoittaa sirujensa tekoälyn tai koneoppimisalueeseen. (Tässä ExtremeTech's take.) Suuri osa tästä vaikuttaa korkeaan suorituskykyyn perustuvaan tietojenkäsittelyyn, mutta on pääosin erillistä. Ensinnäkin, standardi Xeon-prosessorien lisäksi, yhtiö edistää myös FPGA-tekniikoita suorittamaan suuren osan hermoverkkojen päättelystä. Se on yksi iso syy siihen, että yritys osti äskettäin Alteran, ja Microsoftin kaltaiset yritykset käyttävät nyt tällaisia ​​FPGA: ita.

Mutta keskittyminen AI: hen viime viikolla käsitteli joitain uudempia siruja. Ensinnäkin on Xeon Phi, jossa Intel on ilmoittanut, että nykyistä Knights Landing -versiota täydennetään ensi vuonna uudella Knights Mill -nimellä, joka on tarkoitettu "syvän oppimisen" markkinoille. IDF: ssä julkistettu, tämä on toinen 14 nm: n versio, mutta tuella puolitarkkuuslaskelmiin, joita käytetään usein hermoverkkojen harjoitteluun. Yksi nykyisten Nvidia-sirujen suurimmista eduista syvässä oppimisessa onkin tuki puolitarkkuuden laskelmissa ja 8-bittisissä kokonaislukuoperaatioissa, joihin Nvidia viittaa usein syväoppimiseksi "tera-op." Intel on sanonut, että Knights Mill tuottaa jopa neljä kertaa Knights Landing -suorituksen syvälle oppimiseen. (Tämä siru on edelleen suunniteltu seuraavalle myöhemmin 10 nm: n versiossa nimeltä Knights Hill, joka todennäköisesti on tarkoitettu enemmän perinteisille korkean suorituskyvyn laskentamarkkinoille.)

Ensi vuoden mielenkiintoisin on Nervanan äskettäin hankkima Nervana-malli, joka käyttää joukkoa prosessointiklustereita, jotka on suunniteltu suorittamaan yksinkertaisia ​​matemaattisia toimenpiteitä, jotka on liitetty korkeakaistanleveyteen (HBM). Ensin tässä perheessä on Lake Crest, joka on suunniteltu ennen kuin Intel osti yrityksen ja valmistettiin 28 nm: n TSMC-prosessilla. Testattavissa testiversioissa ensi vuoden ensimmäisellä puoliskolla, Intel sanoo toimittavan enemmän raa'an laskutoimituksen suorituskyvyn kuin GPU. Tätä seuraa lopulta Knights Crest, joka jollain tavoin toteuttaa Nervanan tekniikan Xeonin rinnalla, yksityiskohdista vielä ilmoittamatta.

"Odotamme Nervanan tekniikoiden tuottavan läpimurtonopeuden suorituskyvyn seuraavan kolmen vuoden aikana monimutkaisten hermoverkkojen kouluttamiseksi, jotta tietotieteilijät voivat ratkaista suurimpia AI-haasteitaan nopeammin", kirjoitti Intelin toimitusjohtaja Brian Krzanich.

Intel ilmoitti myös äskettäin aikovansa ostaa Movidius, joka tekee DSP-pohjaisista siruista erityisen sopivia tietokoneen visiohäiriöihin - taas päätöksentekoon aiemmin koulutettujen mallien perusteella.

Se on monimutkainen ja kehittyvä tarina - ei todellakaan ole yhtä suoraviivaista kuin Nvidian pyrkimys GPU: eensa kaikkialla. Mutta se tekee selväksi vain sen, kuinka nopeasti koneoppiminen alkaa ja kuinka monta eri tapaa yritykset suunnittelevat ongelman ratkaisemiseksi, Nvidian ja AMD: n kaltaisista GPU: sta moniin ydin x86 -prosessoreihin, kuten Xeon Phi, FPGA: iin., erikoistuneisiin koulutustuotteisiin, kuten Nervana ja IBM: n TrueNorth, räätälöityihin DSP: n kaltaisiin neuvottelukoneisiin, kuten Googlen Tensor-prosessointiyksiköihin. On erittäin mielenkiintoista nähdä, onko markkinoilla tilaa kaikille näille lähestymistavoille.