Symantec julistaa tilauksen mukaan virustentorjuntatestejä harhaan

Viime viikolla riippumaton viruksentorjuntalaboratorio AV-Comparatives julkaisi tilattavan virustorjuntatestauksen tulokset. Se, että Microsoft tuli pohjalle, ei ollut iso uutinen; se, että Symantec teki vielä vähemmän pisteitä, oli todellakin yllättävää. Tänään julkaistussa blogikirjoituksessa Symantec päätti koko käytännössä suorittaa tilauksellisia haittaohjelmien tarkistustestejä kutsuen sitä "harhaanjohtavaksi".

Virustorjuntatestauksen alkuvuosina jokainen testi oli pyydettävissä oleva skannaustesti. Tutkijat koottavat kokoelman tunnettuja haittaohjelmia, suorittavat täydellisen tarkistuksen ja rekisteröivät havaittujen näytteiden prosenttiosuuden. Nykyaikaiset laboratoriot työskentelevät ahkerasti testien laatimiseksi, jotka vastaavat paremmin käyttäjän tosielämäkokemusta, ottaen huomioon tosiasian, että suurin osa infektioista kulkee tietokoneeseen Internetistä. Symantec väittää, että vain reaalimaailman testi on pätevä; En ole täysin samaa mieltä.

Solmittu suojaus?

Symantec Corporationin tuotejohtamisen vanhempi johtaja Alejandro Borgia totesi blogissaan kategorisesti, että "mainitut havaitsemismäärät ovat harhaanjohtavia eivätkä edusta todellisen tuotteen tehokkuutta". Borgia sanoi: "Tämän tyyppisiä tiedostojen skannaustestejä suoritetaan keinotekoisissa ympäristöissä, jotka turmelevat kaikki nykyaikaiset suojausominaisuudet."

On totta, että AV-Comparatives varmistaa, että testijärjestelmillä oli Internet-yhteys, antaen siten Symantecin asennukselle pääsyn tehokkaaseen pilvipohjaiseen Norton Insight -mainejärjestelmään. Kun kysyin Symantecin yhteyshenkilöiltäni tästä, he selittivät, että Norton Insight luottaa täyteen valtaan täydellisiin tietoihin, "miten tiedosto on saatu, milloin se on hankittu tai mistä se on saatu (esim. URL ja IP-osoite)". Pyydettävä tiedostojen skannaustesti tiedostoille, joiden saapumista Symantecin virustorjunta ei havainnut, ei ole sama kuin silloin, kun käyttäjä tosiasiallisesti lataa tiedostoja. Se on totta, mutta se on sama kuin silloin, kun käyttäjä asentaa virustorjunnan nykyisen haittaohjelmaongelman puhdistamiseksi.

Verkon tunkeutumisen estävillä komponenteilla ei myöskään ollut mitään mahdollisuutta auttaa, koska tiedostonäytteet ladattiin ennen virustorjuntaohjelmiston asentamista. Jälleen kerran olisit samanlaisessa tilanteessa asentaessasi virustorjuntaohjelmaa ensimmäistä kertaa saastuneeseen järjestelmään. Ja tietysti käyttäytymiseen perustuva havaitseminen ei koskaan potku, ennen kuin ohjelma todella alkaa suorittaa.

Symantecin yhteyshenkilöt huomauttivat vastaukseksi kyselyyn käyttäytymiseen perustuvasta suojaamisesta toimiin vasta haittaohjelman käynnistämisen jälkeen. Symantecin yhteyshenkilöt huomauttivat, että "käyttäytyminen" sisältää enemmän kuin ohjelman suorittamat toimenpiteet. "Käyttäytymistekniikkamme ottaa huomioon ohjelman sijainnin, sen, kuinka se rekisteröidään järjestelmään (esim. Mitä rekisteriavaimet viittaavat siihen), ja monet muut tekijät", he selittivät. "Useimmissa tapauksissa ohjelma lopetetaan ennen sen aiheuttamista haittaa."

Onko se harhaanjohtavaa?

Väitteestä, että testi on harhaanjohtava, AV-Comparatives ei ole samaa mieltä. Itse raportin johdanto, jonka mukaan "tuotteen tiedostojen havaitsemisnopeus on vain yksi näkökohta", ja viitataan "muihin eri näkökulmia kattaviin testiraportteihin".

"On selvästi todettu, että vain yksi tuotteen ominaisuus on testattu", sanoi Peter Stelzhammer, AV-Comparativesin perustaja. "Jos Symantec ajattelee, että tiedostojen tunnistusominaisuus on arvoton, miksi se sisältyy edelleen tuotteeseen?" Stelzhammer huomautti, että tiedostojen havaitseminen on tarpeen alustavaan puhdistukseen ja että tietokoneilla ei ole aina Internet-yhteyttä. Silti "testi suoritettiin täydellä Internet-yhteydellä ja Symantecin pilviominaisuuksille on annettu pääsy pilviinsä".

Borgia vetoaa tiedostojen havaitsemisen testaamiseen pelkästään auton turvajärjestelmien testaamiseen poistamalla ensin kaikki, lukuun ottamatta lantiovyötä, todeten, että tällainen testi olisi "täysin virheellinen". Ja silti, tällainen testi saattaa hyvinkin tunnistaa heikon lantiovyön ongelmat, joten "täysin virheellinen" näyttää ylenmääräiseltä.

Vain todellisen maailman testit?

Borgia toteaa, että Symantec tukee voimakkaasti reaalimaailman testejä, testejä, "jotka edustavat lähinnä uhkaympäristöä ja hyödyntävät kaikkia tuotteen mukana toimivia proaktiivisia tekniikoita". En voi tuskin olla eri mieltä, mutta tällaiset testit vaativat valtavasti aikaa ja vaivaa. Blogiteksti pitää Dennis Labsin suorittaman testauksen yhtenä loistavana esimerkkinä. Dennis Labs tallentaa tartuntaprosessin tosielämän URL-osoitteista ja käyttää sitten Web-toistojärjestelmää toistamaan täsmälleen saman prosessin kunkin virustentorjuntatuotteen suojauksella. Ihastuttava, mutta se vie paljon aikaa ja vaivaa.

AV-Comparatives itse suorittaa reaalimaailman testejä joka päivä, haastaen kokoelman virustorjuntatuotteita, jotka on asennettu identtisiin testilaitteisiin puolustautuakseen satojen hyvin uusien reaalimaailman haitallisten URL-osoitteiden haittaohjelmilta. Joka kuukausi he tekevät tiivistelmän tiedoista, ja joka vuosineljännes julkaisevat täydellisen Real World Protection -raportin. Prosessi on tarpeeksi työvoimavaltainen, joten he luottavat Innsbruckin yliopiston avusta ja Itävallan hallituksen osittaisesta rahoituksesta.

Odotit Symantecin loistavan tässä AV-Comparativesin tekemässä reaalimaailman testissä. "Valitettavasti", totesi Stelzhammer, "Symantec ei halunnut liittyä päätestisarjaamme." Symantec päätti olla osallistumatta, he sanoivat, koska "AV-Comparatives ei tarjoa myyjille tilausta, joka keskittyy pelkästään reaalimaailman testeihin, samalla kun se poistuu tiedostojen tarkistustestistä." Tämä strategia näyttää kuitenkin olevan taantunut. Vaikka yritys ei tilannut, AV-Comparatives asetti Symantecin tilaustarkastukseen, "koska lukijamme ja lehdistömme ovat vaatineet tuloksia".

Useilla testeillä on arvo

Symantecin blogiviestissä todetaan seuraavaa: "Odotamme innolla sitä päivää, jolloin kaikki julkaistut testit ovat reaalimaailman testejä. Sillä välin lukijoiden on oltava varovaisia ​​keinotekoisista testeistä, jotka osoittavat harhaanjohtavia tuotevertailuja." Myös minulla olisi ilahduttavaa nähdä lisää testejä, jotka vastaavat käyttäjän reaalimaailman kokemuksia, mutta en usko, että voimme hylätä tiedostojen havaitsemistestejä.

Harkitse tätä. Jos ostat virustentorjuntaohjelman järjestelmälle, jolla ei koskaan ollut suojausta, sinun odotetaan puhdistavan kaiken haittaohjelman tarttumatta siihen, että sille ei annettu mahdollisuutta käyttää verkon tunkeutumisen estämistä. Tällaisessa tapauksessa luultavasti etsit ennätyksiä testistä, kuten AV-Comparatives-on-demand-testi, testi, joka vastaa melko tarkasti tilannetta.

Jatkuvaa suojausta varten, kyllä, haluat tuotteen, joka ansaitsee parhaat tulokset myös reaalimaailman testeissä. Joten valitse tuote, jolla on parhaat tulokset molemmilla alueilla ja useiden laboratorioiden testeissä. Tällä tavalla saat suojan, joka voi hoitaa asennuksessa mahdollisesti esiintyvät ongelmat ja torjua myös tulevat haittaohjelmahyökkäykset.