Video: Essential Scale-Out Computing by James Cuff (Marraskuu 2024)
Jos halusit tutkia, kuinka ohjelma erottaa haitalliset sähköpostiviestit tavallisista posteista, haluat analysoida miljoonia reaalimaailman näytteitä, pahoja ja hyviä. Ellei sinulla ole ystävää NSA: lla, sinulla olisi vaikea saada näitä näytteitä. Twitter puolestaan on lähetysväline. Lähes jokainen twiitti on näkyvissä kaikille kiinnostuneille. Professori Jeanna Matthews ja tohtori Clarksonin yliopiston opiskelija Joshua White hyödynsi tätä tosiasiaa löytääkseen luotettavan tunnisteen tweetsille, jotka on luotu Blackhole Exploit Kit. Heidän esitelmänsä tunnustettiin parhaaksi paperiksi 8. kansainvälisessä haitallisia ja ei-toivottuja ohjelmistoja käsittelevässä konferenssissa (lyhyt Malware 2013).
Jokainen, joka haluaa lähettää roskapostia, luoda armeija robotteja tai varastaa henkilökohtaisia tietoja, voi aloittaa ostamalla Blackhole Exploit Kit -sovelluksen. Matthews kertoi, että yhden arvion mukaan BEK oli mukana yli puolella kaikista haittaohjelmainflaatioista vuonna 2012. Toisessa raportissa sidotaan BEK 29 prosenttiin kaikista haitallisista URL-osoitteista. Huolimatta Blackholen väitetyn kirjoittajan äskettäisestä pidätyksestä, pakkaus on merkittävä ongelma, ja yksi sen monista leviämistavoista sisältää Twitter-tilien haltuunoton. Tartunnan saaneet tilit lähettävät tweettejä, jotka sisältävät linkkejä, jotka napsauttamalla väittävät seuraavaa uhriaan.
Viivan alapuolella
Matthews ja White keräsivät Twitteristä useita teratavuja dataa vuoden 2012 aikana. Hän arvioi, että heidän tietojoukonsa sisältää 50 - 80 prosenttia kaikista tweeteistä tuona aikana. He saivat paljon enemmän kuin vain 140 merkkiä per twiitti. Jokaisen tweetin JSON-otsikko sisältää runsaasti tietoa lähettäjästä, tweetistä ja sen yhteydestä muihin tileihin.
He aloittivat yksinkertaiselta tosiasialta: joihinkin BEK: n luomiin tweetteihin sisältyy tiettyjä lauseita, kuten "Onko sinä kuvassa?" tai enemmän provosoivia lauseita, kuten "Olit alastomia juhlissa (viileä valokuva)". Kaivostamalla näiden tunnettujen lauseiden valtavan aineiston, he tunnistivat tartunnan saaneet tilit. Tämä puolestaan antaa heidän avata uusia lauseita ja muita BEK: n luomien tweetsien merkintöjä.
Itse paperi on tieteellistä ja täydellistä, mutta lopputulos on melko yksinkertainen. He kehittivät suhteellisen yksinkertaisen mittarin, joka soveltuessa tietyn Twitter-tilin tuotokseen pystyisi luotettavasti erottamaan tartunnan saaneet tilit puhtaista. Jos tilin pistemäärä ylittää tietyn rivin, tili on kunnossa; linjan alapuolella, se on saanut tartunnan.
Kuka tarttui kuka?
Tämän selkeän menetelmän avulla tartunnan saaneiden tilien erottamiseksi paikoillaan he jatkoivat analysoimaan tartuntaprosessia. Oletetaan, että tili B, joka on puhdas, seuraa tiliä A, joka on saastunut. Jos tili B tarttuu pian AEK: n BEK-postituksen jälkeen, on todennäköistä, että tili A oli lähde. Tutkijat mallitsivat nämä suhteet klusterikaaviossa, joka osoitti erittäin selvästi pienen määrän tilejä, jotka aiheuttivat valtavan määrän tartuntoja. Nämä ovat tilejä, jotka Blackhole Exploit Kit -omistaja on perustanut tartunnan leviämistä varten.
Matthews totesi, että heillä oli tässä vaiheessa kyky ilmoittaa käyttäjille, joiden tilit ovat saastuneita, mutta heidän mielestään tätä voidaan pitää liian tunkeutuvana. Hän työskentelee saadakseen yhteyttä Twitteriin nähdäkseen mitä voidaan tehdä.
Nykyaikaiset tiedonlouhinta- ja big-data-analyysitekniikat antavat tutkijoille mahdollisuuden löytää malleja ja suhteita, joita olisi ollut yksinkertaisesti mahdotonta tavoittaa vain muutama vuosi sitten. Ei jokainen tiedonhaku kannattaa, mutta tämä tapahtui paikoillaan. Toivon vilpittömästi, professori Matthews onnistuu kiinnostamaan Twitteriä kiinnostumaan tämän tutkimuksen käytännön sovelluksesta.
