Asiantuntijat slam imperva antivirus tutkimusta

Turvayhtiö Imperva julkaisi viime kuussa synkkän tutkimuksen, jonka mukaan kalliit tietoturvasarjat eivät ehkä ole hintansa arvoisia ja että kaikki virustorjuntaohjelmat kärsivät valtavista sokeista alueista. Tämänkaltainen kurjuutta ja synkkyyttä koskeva tutkimus vaatii aina mojovaisen suolajyvän, mutta lukuisten teollisuuden asiantuntijoiden kanssa puhuttua saattaa tarvita koko ravistin.

Imperva tarkasteli useita suojausratkaisuja toimittajilta, kuten Kaspersky, Avast, AVG, Microsoft ja McAfee. He pitted nämä valvontaelimet vastaan ​​82 satunnaisesti kerättyä haittaohjelmanäytteitä tutkiessaan kuinka onnistuneesti tietoturvaohjelmisto havaitsi roistoohjelmat.

Imperva väittää heidän työstään, että haittaohjelmien torjuntaohjelmat eivät ole riittävän nopeita tai reagoivia nykyaikaisten uhkien torjumiseksi. Turvallisuusohjelmistot, kirjoittaa Imperva, "havaitsevat paljon paremmin haittaohjelmia, jotka leviävät nopeasti suurina määrin identtisiä näytteitä, kun taas rajoitetun levityksen vaihtoehdot (kuten hallituksen tukemat hyökkäykset) jättävät yleensä suuren mahdollisuuden."

He eivät myöskään löytäneet korrelaatiota käyttäjien virustorjuntaan käyttämien varojen ja ohjelmistojen tarjoaman tietoturvan välillä ja ehdottivat, että sekä yksityishenkilöt että yritysasiakkaat tarkastelevat ilmaisohjelmavaihtoehtoja.

Itsenäiset laboratoriot työntävät taaksepäin

Tutkimus on saanut paljon huomiota, mutta puhuttaessa turvallisuusammattilaisten ja joidenkin tutkimuksessa nimettyjen yritysten kanssa Security Watch löysi monet, jotka uskovat tutkimuksen olevan erittäin puutteellinen.

Melkein jokainen laboratorio tai tietoturvayritys koki Impervan haittaohjelmien otoskoko olevan liian pieni tukemaan tutkimuksen päätelmiä. AV-Testin Andreas Marx kertoi meille, että yritys vastaanottaa noin miljoona näytettä uudesta ainutlaatuisesta haittaohjelmasta viikossa. Samoin AV-Comparativesin Peter Stelzhammer kertoi meille, että he saavat päivittäin 142 000 uutta haitallista tiedostoa.

Imperva puolestaan ​​kirjoitti tutkimuksessa, että he tarkoituksella käyttivät pientä otosta, mutta vaativat, että se osoittaa olemassa olevia uhkia. "Valitsemmemme haittaohjelmat eivät olleet puolueellisia, vaan ne otettiin satunnaisesti verkosta heijastaen potentiaalista menetelmää hyökkäyksen rakentamiseksi", kirjoittaa Imperva.

NSS Labs: n tutkimusjohtaja Randy Abrams tulkitsi kuitenkin Impervan metodologiaa selvästi. "Tiedostonimien etsinnällä varmasti menetetään hienostuneita hyökkäyksiä ja myös useimpia muita haittaohjelmia", Abrams kertoi Security Watchille kommentoidessaan keinoja, joita Imperva käytti etsittäessä haittaohjelmia. "Keskittyminen venäläisiin foorumeihin vääristää merkittävästi näytteenottoa. On ilmeistä, ettei ajatellut hankkia reaalimaailman edustavia näytteitä."

Metodologian ongelmat

Suorittaakseen tutkimuksensa Imperva käytti testien suorittamiseen verkkotyökalua VirusTotal, jota mainittiin testin kriittiseksi heikkoudeksi. "Tämän testin ongelmana on, että se kopioi uhat suoritettavien tiedostojen muodossa ja skannasi sitten VirusTotalia käyttävät", sanoi Simon Edwards Dennis Labsista. "VT ei ole sopiva järjestelmä käytettäväksi haittaohjelmien torjuntatuotteiden arvioinnissa pääasiassa siksi, että VT: ssä käytettäviä skannerit eivät tue lisätekniikkaa, kuten verkkomainejärjestelmiä."

Kaspersky Labs, jonka tuotetta käytettiin tutkimuksessa, kyseenalaisti myös Impervan kokeessa käyttämän testausmenetelmän. "Kun skannataan mahdollisesti vaarallisia tiedostoja, Impervan asiantuntijoiden käyttämä VirusTotal-palvelu ei käytä virustorjuntatuotteiden täysversioita, vaan luottaa vain erilliseen skanneriin", kirjoitti Kaspersky Labs Security Watchille annetussa lausunnossa.

"Tämä lähestymistapa tarkoittaa, että suurin osa nykyaikaisten virustorjuntaohjelmistojen käytettävissä olevista suojaustekniikoista jätetään yksinkertaisesti huomiotta. Tämä vaikuttaa myös ennakoiviin tekniikoihin, joiden tarkoituksena on havaita uusia, tuntemattomia uhkia."

Erityisesti osa VirusTotalin verkkosivustoista estää ketään käyttämästä palveluaan virustorjunta-analyyseissä. Yrityksen Tietoja-osiossa lukee "olemme kyllästyneitä toistamaan, että palvelua ei ole suunniteltu virustentorjuntaa koskevien vertailevien analyysien suorittamiseen. Niiden, jotka käyttävät VirusTotalia virustorjuntaa vertailevien analyysien suorittamiseen, tulisi tietää, että he tekevät metodologiaan monia implisiittisiä virheitä."

Abrams suhtautui myös hämärästi VirusTotalin käyttämiseen tutkimuksen suorittamiseen, sanoen, että työkalua voidaan käyttää vinouttamaan tuloksia testaajien haluamiin. "Pätevät, kokenut testaajat tietävät paremmin kuin käyttää VirusTotalia muiden kuin puhtaan komentoriviskannerin suojakykyjen arviointiin", hän sanoi.

Imperva puolusti VirusTotalin käyttöä tutkimuksessaan. "Raportin ydin ei ole virustentorjuntatuotteiden vertailu", kirjoittaa Imperva. "Pikemminkin tarkoituksena on mitata yhden virustentorjuntaratkaisun sekä yhdistettyjen virustentorjuntaratkaisujen tehokkuus, jos satunnainen joukko haittaohjelma-näytteitä."

Vaikka asiantuntijat, joiden kanssa puhuimme, olivat yhtä mieltä siitä, että nollapäivän haavoittuvuudet ja vasta luodut haittaohjelmat ovat ongelma, mikään ei tukenut Impervan väitteitä ajoituksesta tai alhaisista havaitsemisasteista. "Matalimmat suojaustasot" reaalimaailman "nollapäivän testissä ovat 64-69 prosenttia", Marx kertoi Security Watchille. "Kaikkien testattujen tuotteiden suojausaste oli keskimäärin 88-90 prosenttia. Tämä tarkoittaa, että 10: stä hyökkäyksestä 9 estetään onnistuneesti, vain yksi aiheuttaa todellisen tartunnan."

Toinen tärkeä johtopäätös Imperva-raportissa oli, että haittaohjelmien torjuntaohjelmat ymmärtävät hyvin haittaohjelmien luojat, jotka säätävät luomuksensa horjuttaa suojausjärjestelmiä. "Hyökkääjät ymmärtävät virustentorjuntatuotteet perusteellisesti, tuntevat heikkoutensa, tunnistavat virustentorjuntatuotteiden vahvat kohdat ja ymmärtävät heidän menetelmänsä käsitellä uusien virusten leviämisen korkeaa esiintymistä Internetissä", kirjoittaa Imperva tutkimuksessa.

Tutkimus jatkuu: "Muunnelmat, joiden jakelu on rajoitettua (kuten hallituksen sponsoroimat hyökkäykset), jättävät yleensä suuren mahdollisuuden."

Stuxnet ei ole perässäsi

"Haittaohjelmat ovat todella kovia, he ovat vahvoja ja älykkäitä", Stelzhammer sanoi. "Kohdennettu hyökkäys on aina vaarallinen." Mutta hän ja muut painottivat, että kohdennetut hyökkäykset, joissa haittaohjelmat on räätälöity erityisesti haittaohjelmien torjuntaa vastaan, ovat niin harvinaisia ​​kuin vaarallisia.

Jokaisen suojauskerroksen voittamiseksi tarvittavan haittaohjelman luomiseen tarvittavat vaivat ja tiedot ovat suuria. "Tällainen testi vaatii paljon aikaa ja taitoja, joten ne eivät ole halpoja", kirjoitti Marx. "Mutta siitä syystä heitä kutsutaan" kohdistetuiksi "."

Tältä osin Abrams pihtii: "Minua ei todellakaan ole kiinnostunut siitä, että Stuxnet pääsee tietokoneeseeni ja hyökkää uraania rikastettavaan sentrifugiin kotona tai työnantajan toimistossa."

Lähes kaikki, joiden kanssa puhuimme, olivat ainakin periaatteessa yhtä mieltä siitä, että ilmaiset haittaohjelmien torjuntaratkaisut voisivat tarjota käyttäjille arvokkaan suojan. Useimmat olivat kuitenkin sitä mieltä, että se oli kannattava vaihtoehto yritysasiakkaille. Stelzhammer huomauttaa, että vaikka yrityskäyttäjät haluaisivat käyttää ilmaisia ​​ohjelmistoja, lisenssisopimukset estävät niitä toisinaan.

"Kyse ei ole kaikesta havaitsemisesta", sanoi Stelzhammer haastattelussa Security Watchille. "Kyse on hallinnosta, sen levittämisestä asiakkaille, yleiskatsauksesta. Et saa tätä ilmaisella tuotteella."

Tietoinen käyttäjä kotona, jatkoa Stelzhammer, voisi käyttää ilmaisten ohjelmistojen kerroksia tarjotakseen maksettuihin ohjelmistoihin verrattavan suojan, mutta yksinkertaisuuden kustannuksella. "Hän voi järjestää hyvin suojatun järjestelmän ilmaisilla ohjelmistoilla, mutta maksettujen ohjelmistojen suurin etu on mukavuus."

Dennis Labsin Edwards ei kuitenkaan ollut samaa mieltä suotuisasta vertailusta vapaisiin ohjelmistoihin. "Tämä on vastoin kaikkia havaintojamme, jotka on tehty monien vuosien testauksen aikana", sanoi Edwards. "Lähes poikkeuksetta parhaat tuotteet maksetaan." Nämä havainnot ovat samanlaisia ​​kuin PC Magazine -yrityksen tekemät haittaohjelmien torjuntaohjelmat.

Tutkimuksen viime kuussa julkaiseman julkaisun jälkeen Imperva on kirjoittanut blogin, joka puolustaa heidän kantaansa. Impervan turvallisuusstrategian johtaja Rob Rachwald sanoi Security Watchille puhuessaan: "Menetelmämme keskittyminen on puuttuva nykyhetkestä." Hän jatkoi, että suurin osa tietorikkomuksista johtuu haittaohjelmien tunkeutumisesta, jota yritys pitää todisteena siitä, että nykyinen haittaohjelmien torjuntamalli ei yksinkertaisesti toimi.

Vaikka Impervan päätelmiin saattaa sisältyä luontaista totuutta, yksikään asiantuntija, jonka kanssa puhuimme, ei suhtautunut tutkimukseen myönteisesti. "Tyypillisesti varoitan toimittajien tukemista testeistä, mutta jos tämän testin olisi suorittanut riippumaton organisaatio, varoitan itse organisaatiota vastaan", kirjoitti Abrams NSS Labsista. "On harvinaista, että kohtaan tällaisen uskomattoman hienostuneen metodologian, virheelliset näytteenkeruukriteerit ja yhdestä PDF-tiedostomuotoon käärittyjä tukemia johtopäätöksiä."

Seuraa Maxia lisää, seuraa häntä Twitterissä @wmaxeddy.