Monet tietoturvapaketit parantavat suojausta reaalimaailman testauksessa

Innsbruckissa sijaitsevan AV-Comparativesin tutkijat pyrkivät väsymättä testaamaan turvalaitteiden suojavoimaa tavalla, joka on mahdollisimman lähellä todellisen käyttäjän kokemusta. Joka päivä he altistavat melkein kaksikymmentä sviittiä todellisille haittaohjelmahyökkäyksille automatisoidun järjestelmän avulla tallentaakseen, kuinka hyvin tuote vastasi testiä. Viimeisen kuuden kuukauden aikana he ovat käyneet läpi yli 3000 testitapausta. Puolivuotiset tulokset ovat näkyvissä, ja vaikuttava määrä tuotteita on parantunut edellisestä raportista lähtien.

Näytteen koon merkitys

On intuitiivisesti ilmeistä, että tällainen testi saa tarkempia tuloksia suuremmalla näytesarjalla, mutta tällä kertaa AV-Comparativesin ympärillä on selitetty selvästi liian pienen näytesarjan seuraukset. Yksinkertainen erillinen raportti sisältää tilastotiedot, ja ne ovat vähän yllättäviä.

Oletetaan, että tietty tuote havaitsi 80 prosenttia 10 000 haittaohjelmanäytteestä. Oletetaan nyt, että valitset vain kymmenen näytettä satunnaisesti samasta kokoelmasta. Kaikkien mahdollisten tulosten kaavion avulla raportti osoittaa, että saman havaitsemisnopeuden, korkeamman havaitsemisnopeuden tai pienemmän havaitsemisnopeuden saavuttaminen on melkein yhtä todennäköistä. Kyllä, kymmeneen näytteeseen leikkaaminen on äärimmäinen tapaus, mutta se varmasti merkitsee asiaa.

Testausmenetelmät

Tutkimusryhmä kerää todellisia haitallisia URL-osoitteita päivittäin automatisoituja ja manuaalisia hakumenetelmiä käyttämällä. Ne valitsevat erityisesti joukon suoria linkkejä haittaohjelmatiedostoihin ja ajaa lataussivustoihin. Päivän näytteiden läpi yksi kerrallaan he paljastavat kaikki tuotteet tietylle URL-osoitteelle samanaikaisesti ja tarkkailevat, kuinka kukin tuote reagoi. Jos jokin tuotepaketin osa suojaa haittaohjelmia, se on menestys. Jos haittaohjelma liukuu ohi ja määrittää taloudenhoitoa, se on virhe.

Joskus sarja ilmestyy ilmoitukseen, että se on löytänyt jotain , ja kysytään käyttäjältä, estääkö se tai sallitaanko se. Testausta varten AV-Comparatives -analyytikot päättävät aina sallia toimenpiteen. Tuote, joka puolustaa järjestelmää onnistuneesti tästä toiminnasta huolimatta, saa täyden hyvityksen; tuote, joka antaa järjestelmän vaarantua käyttäjän väärän valinnan johdosta, saa puoliluottoa.

Kun tietty testitapaus on valmis, kaikki testijärjestelmät kuvataan uudelleen takaisin haittaohjelmia edeltävään tilaan, valmis seuraavaa testitapausta varten.

Väärät positiiviset

Väärä positiivinen tulos tapahtuu, kun suojausohjelmisto estää virheellisesti pääsyn lailliseen tiedostoon tai verkkosivustoon. Et selvästikään halua, että tietoturvaohjelmistosi pyyhkäisi voimassa olevat tiedostot tai pitäisi sinut poissa vaarattomista verkkosivustoista. AV-Comparatives testasi jokaista tuotetta noin tuhannella satunnaisesti valitulla verkkotunnuksella ja noin sata uutta ja suosittua ohjelmaa. Testausta varten he latasivat kaikki ohjelmat kehittäjän sivustolta, ei latausportaalista.

Raportissa todetaan, että tilastollinen ja maineeseen perustuva tietoturva-analyysi estää usein aivan uusia ohjelmia ja sivustoja tai varoittaa niistä. Siinä todetaan, että "vaikka tällaiset suojaustekniikat… auttavat tuottamaan ennätyksiä… tämä voi johtaa myös viattomien / puhtaan tiedostojen ja URL-osoitteiden havaitsemiseen / estämiseen vain siksi, että ne ovat… liian uusia". Tämän tyyppisen ilmaisun vahva puolustaja Norton ei osallistu AV-Comparatives -testaukseen.

Paljon parannusta

Yli puolet nykyiseen raporttiin sisältyvistä tuotteista sai paremman tuloksen kuin tämän raportin edellisessä painoksessa. Vipre, McAfee ja Fortinet epäonnistuivat viimeisen kerran, eivätkä ansainneet edes STANDARDia, alinta ohi. Tällä kertaa Fortinet ja McAfee saivat ADVANCED-arvon ja Vipre sai STANDARDin. Kaikilla kolmella oli luokituksensa lasku väärien positiivisten takia; perustuen vain havaitsemiseen, McAfee ja Fortinet olisivat saaneet korkeimman arvosanan ADVANCED +.

eScan hyppäsi STANDARDista ADVANCED +, kun taas avast!, ESET ja Trend Micro siirtyivät ADVANCED-tilasta ADVANCED + -sovellukseen. Useat muut, jotka aiemmin antoivat tason STANDARD, hallitsivat ADVANCED-luokituksen tällä kertaa.

Bitdefender ansaitsee säännöllisesti parhaat tulokset riippumattomissa laboratoriotesteissä. Pelkästään haittaohjelmien havaitsemisen perusteella se olisi saanut ADVANCED + -arvon, kuten viime kerralla, mutta väärät positiiviset tekivät sen ADVANCED-arvoon. Sama tapahtui F-Securen ja BullGuardin kanssa.

AV-Comparatives -tuotteen dynaaminen testi on yksi työvoimavaltaisimmista testeistä, joita olen tavannut. Ei siis ole yllättävää, että laboratorio luottaa Innsbruckin yliopiston ja Itävallan hallituksen tukeen. Se on paljon työtä, mutta lopputulos on testi, joka lähestulkoon tarkalleen kuinka hyvin tuote suojaa reaalimaailman käyttäjiä.