Tietojärvet, selitetty

Big Data -vallankumous on määritellyt uudelleen yritysten toimintatavan; tiedot tukevat kaikkea. Paitsi, että avoimen lähdekoodin työkalut, kuten Apache Hadoop ja Spark, ovat tehneet valtavasti tietomääriä entistä helpompaa kerätä, käsitellä ja tallentaa reaaliajassa, mutta myös liiketoiminnan älykkyys (BI) ja datan visualisointityökalut ovat alkaneet auttaa meitä raaputtamaan analyysin pintaa ja muuntamalla nämä tiedot keskeisiksi liiketoimintapäätöksiksi.

Vaikka Big Data- ja BI-tekniikka onkin kehittynyt, käsittelemme edelleen niin suuria määriä jatkuvasti yhdistäviä tietoja, että oikeiden pisteiden löytäminen analysoitavaksi tuntuu silti sukellumiselta neuloille loputtomassa heinäsuovassa. Ratkaisu? Suunnittele heinänpuna uudelleen.

Syötä tietojärvet, uudenlainen pilvipohjainen yritysarkkitehtuuri, joka rakentaa tiedot skaalautuvammalle tavalla, mikä helpottaa kokeilua; tekee siitä avoimemman tutkimiseen ja manipulointiin kuin lukittuihin jäykkiin kaavioihin ja siiloihin. Forrester Researchin yritysarkkitehtuurin tutkija Nasry Angel selitti miksi yritykset omaksuvat datajärvi-arkkitehtuureja.

"Se kuulostaa kliseeltä, mutta kun ajatellaan tehokasta nykyaikaista tietoympäristöä, se on paljon kokeellisempi", sanoi Angel. "Sinun on voitava oppia nopeasti ja epäonnistua nopeasti. Aikaisemmin tietojen hallitseminen, etenkin varastossa, oli laadussa, desimaalin tarkkuudella; varmistettiin, että kaikki oli täysin tarkkaa ja totta. Sitä kutsutaan yhden henkilön jahdaamiseksi. Luo sitten pikselitäydellinen raportti ja räjäyttää sen 5000 käyttäjälle.

"Nykyään se on tieteellisempi prosessi. Käytät hypoteesillä testattavista tiedoista ja haluat pystyä pelaamaan tietoja, sekoittamaan ja yhdistämään, kokeilemaan erilaisia ​​asioita ennen lähtöä ja tuottamaan jotain."

Mitä datajärvi sisältää?

Datajärvi on varastotila. Vaikka Angel, toisin kuin tietovarasto tai "data mart", jakoi järvet jakautuvat useille solmille pikemminkin kuin varaston kiinteässä, rakenteellisessa ympäristössä, joka perustuu skeemoihin (katso alla oleva infografika).

"Tietojärvi antaa sinun soveltaa kaavaa, kun kirjoitat tietoja verrattuna tietovarastoon, joka edellyttää, että sinun on tehtävä skeema lukuna. Joten käytännössä tietovarasto vaatii mallintamaan tiedot ennen kuin ymmärrät sen kontekstin, mikä ei "Ei ole mitään järkeä", sanoi Angel.

Lähde: JustOne Database, Inc. (Napsauta yllä olevaa kuvaa nähdäksesi koko näkymän.)

"Tyypillisesti varastossa sinulla on tietotekniikan ammattilaisia, jotka keksivät heidän mielestään parhaita tietomalleja, eivätkä he ole tietojen mahdollisia käyttäjiä. Voit nopeasti nähdä, kuinka tämä estää tuottavuutta ja liiketoiminnan arvoa", hän lisäsi.. "Viime kädessä sinun ja yrityskäyttäjien on oltava ne, jotka tekevät päätöksiä tietojen rakenteesta, ja datajärvessä voit ensin tutkia ja selvittää, mitä siellä on, ja sitten selvittää kaavan, jotta se voidaan parhaiten järjestää."

Tietojärvet on tyypillisesti rakennettu Hadoopille, ja yritystoiminnan Hadoop-levitykset, kuten Hortonworks ja MapR, tarjoavat datajärvi-arkkitehtuureja. Yritykset voivat myös rakentaa datajärviä käyttämällä palveluna olevia infrastruktuuripalveluja (IaaS), mukaan lukien Amazon Web Services (AWS) ja Microsoft Azure. Amazonin elastinen laskentapilvi (EC2) tukee tietojärviä, kun taas Microsoftilla on oma Azure Data Lake -alusta reaaliaikaisen tiedon tallentamiseksi ja analysoimiseksi. Angel sanoi, että tietojärvet ovat kypsymässä siihen pisteeseen Big Data -tilassa, jossa yritykset voivat aloittaa sijoittamisen niihin kohtuullisen varmuudella.

"Muutama vuosi sitten Hadoop oli raivoissaan. Nyt olemme siirtymässä kohtaan, jossa Hadoop on hyödykkeitä", sanoi Angel. "Kysymys ei ole siinä, onko Hadoop, mutta milloin, ja mitä aiot tehdä sen kanssa. Millaisia ​​sovelluksia aiot rakentaa Hadoopin päälle, kun olet saanut tiedot yhteiseen kohtaan, kuten datajärvi? Tässä vaiheessa kyse on tietojen käytöstä sovellusten kehittämiseen yrityksesi tarpeiden tyydyttämiseksi."

Rakennus tietosäiliön huipulle

Mielenkiintoisin osa Big Datasta on kaikki mahdollisuudet, jotka se avaa. Kun olet perustanut tietojärven, jossa voi pelata ja kokeilla erilaisia ​​tietoyhdistelmiä ja liiketoiminnan tuloksia, voit aloittaa innovatiivisten analyysitekniikoiden kerroksen päälle.

Koneoppimisalgoritmit (ML) ovat jo tulossa osaksi pilviinfrastruktuurin rakennetta, ja tutkijat parantavat jatkuvasti syvän oppimisen tekniikoita ja hermoverkkoja koneiden ja tietojärjestelmien kouluttamiseksi monimutkaisten kuvioiden tunnistamiseksi. Ennustava analytiikka on pakattu yhä useampiin datatyökaluihin ja yritysalustoihin, ja niitä käytetään kaikkeen ennakoivaan pisteytykseen ja automaattiseen segmenttiin asiakassuhteiden hallinnassa (CRM) rahoitusmarkkinoiden kehityssuuntien tunnistamiseen ja koneiden mekaanisten vikojen ennaltaehkäisevään havaitsemiseen.

Kaikki tämä tapahtuu sen lisäksi, mitä tietovarastoa yrityksesi ruokkii ja skaalaa sen tarpeiden mukaan. Angel puhui joistakin reaalimaailman käyttötapauksista, joissa hän on nähnyt tietojärvien muuttavan organisaatioiden toimintaa.

"Tein yhteistyötä kustantamoyrityksen kanssa, jolla on valikoima erilaisia ​​lehtiä - heillä on julkaisu lakimiehille, toinen kirjanpitäjille, toinen konsultteille jne. - ja jokaisella julkaisulla oli oma tietovarasto. Käytännössä jokaisella julkaisulla oli oma siilo ", selitti Angel.

"Joten poimimme kaiken datan varastosta ja panimme sen datajärvelle, ja datajärvi antoi heidän nähdä ne siilojen yli. He pystyivät tutkimaan tietoja ja etsimään tietoja ja tajusivat, että kaikissa näissä eri julkaisuissa, jokaisen lehden asiakkaat olivat kiinnostuneita kyberturvallisuudesta. Kyberturvallisuuden lukijakunta oli vahva kaikissa näissä eri tehtävissä. Joten mitä he tekivät? He tekivät kyberturvallisuudesta vuosikokouksensa aiheen."

Toinen esimerkki Angelistä, josta hän puhui, on verkkokauppa. Toinen asiakas, taiteen online-vähittäiskauppias, poltti tonnin määrän tietoa datajärvelle ja käytti sitä paitsi arkistona myös monenlaisena kankaana yritystietojen koottamiseksi. Jälleenmyyjä toi kauppatapahtumatiedot (tilaukset, laskut, maksut jne.), Napsautustiedot (jokaisen verkkosivuston kävijän napsautukset ja sivut peräkkäin) ja tiedot jälleenmyyjän tietovarastoista kaikki järveen ja käytti niitä yhdessä konseptiksi ostoskorin torjumiseksi. luopuminen ja muutokset.

"Haluat rakentaa datajärven päälle ja käyttää sitä muotoamaan monimutkaisia ​​yritystoimintaa", sanoi Angel. "Taidekauppias pystyi tarkastelemaan asiakkaan napsautussivutietoja ja sovittamaan napsautukset asiakasprofiileihin ja käyttämään sitten tapahtumatietoja nähdäksesi, mitä asiakas on aiemmin ostanut, ja käyttämään näitä oivalluksia erittäin erityisten sähköposti-kampanjoiden toteuttamiseen. Joten jos asiakas hylkäsi heidän ostoskoriinsa, vähittäiskauppias saattoi seurata kaksi tuntia myöhemmin ja sanoa: "Näimme tarkistamasi tätä Picassoa; tässä on linkki, jos haluat katsoa sitä uudelleen.""

Tietojärvet ovat yleisesti sovellettavissa kaikenlaisiin yrityskäyttöön. Mutta arkkitehtuuriin siirtymistä harkitsevalle teknisen pääjohtajalle (CTO) tai tietoturvajohtajalle (CISO) Angel painotti, että tietovarastot eivät ole vielä vanhentuneita, eivätkä mitenkään. Useimmissa yritysorganisaatioissa, riippumatta siitä, käytätkö pilvipalvelujen tarjoajaa tai mukautettua Hadoop-jakelua, yritykset tarvitsevat edelleen molemmat.

Tietojärvet antavat pääsyn vertaansa vailla oleviin tietoihin poistamalla tietyn kaavan mukaisille tiedoille asetetut rajoitukset, ja niiden omistajuuden kokonaiskustannukset ovat paljon alhaisemmat, koska halpoja, joustavia pilvitallenteita, kuten AWS, käytetään skaalaamaan ylös ja alas - vaikka vain maksat tosiasiallisesti käyttämästäsi prosessointitehosta. Tietovaraston ylläpito on kalliimpaa ja tekee IT-ammattilaisista selektiivisempiä tulevien ja tulevien tietojen suhteen. Mutta yrityksen kaikkein kriittisimmälle tiedolle se ei ole huono asia.

"Tietovarastolla on etuja turvallisuuden suhteen ja se on erittäin helppo työkalu tiedonhallinnan hallintaan", Angel sanoi. "Joten haluat silti säilyttää arkaluontoisimmat tietosi varastossa, operatiivisesti tärkeät asiat. Mutta kun kyse on uusista liiketoimintamahdollisuuksista ja piilotettujen oivalluksien löytämisestä, haluat hyödyntää datajärveä."