Video: Symantec Endpoint Security Enterprise: A demo of threat detections (Marraskuu 2024)
Skannaus tilauksesta
Tarvittavissa oleva skannaustesti altistaa jokaisen testatun tuotteen kokoelmalle "viime viikkojen / kuukausien näytteitä, jotka ovat lyöneet kentän käyttäjiä". Näytteitä analysoidaan edelleen samanlaisten tiedostojen luokittelemiseksi ja otosjoukon koon pienentämiseksi, joten "jokaisen missauksen on tarkoitus edustaa yhtä puuttuvaa ryhmää". Tässä testissä käytetään 136 610 viimeisintä näytettä. Tuotteen alkuperäinen pistemäärä on havaittujen näytteiden prosenttiosuus.
Yllättäen Symantecin Norton AntiVirus havaitsi alhaisimman havaitsemisnopeuden (ennen kuin harkitset vääriä positiivisia) 91, 2 prosentin havainnoinnilla. Microsoft Security Essentials reunaa korkeampi, havaitsen 92 prosenttia näytteistä. G Data AntiVirus havaitsi 99, 9 prosenttia havaitsemallaan listalla kärjessä. Useat muut hallitsivat paremmin kuin 99 prosenttia.
Väärät positiiviset
AV-Comparativesin tutkijat käyttävät klusterointitekniikkaa tunnistaakseen rajapisteet, jotka erottavat ADVANCED + (ylin luokitus) ADVANCED + ja ADVANCED STANDARDista. Se on lähtökohta, mutta tuote, jolla on monia (16-50) vääriä positiivisia, menettää yhden luottotason ja yhden, jolla on hyvin monia (51–100), kaksi. Alkuperäisestä luokituksestaan riippumatta, jos tuotteella on "hullu monta" (yli 100) vääriä positiivisia osatekijöitä, se saa aina Testetyn ei-pass-luokituksen.
Yhdeksästä testatusta tuotteesta yhdeksän menetti yhden arvosanan monien väärien positiivisten johdosta. Ainakaan yhdelläkään heistä ei ollut kovin monta tai "hullua monta" puiteohjelmaa. Norton, joka alkaa luokituksella STANDARD, upposi TESTIIN, samoin kuin AhnLab. Voittajaryhmästä, jonka luokitus on ADVANCED +, löytyy Avira, Bitdefender, BullGuard, F-Secure ja Kaspersky. Napsauta tätä nähdäksesi koko raportin.
Huomaa, että et löydä Microsoftia palkintojen osiosta. Ajattelin aluksi, että tämä oli valvontaa, mutta AV-Comparatives-perustaja Peter Stelzhammer asetti minut suoraan. "Päätimme olla lisäämättä Microsoftin luetteloa palkinto-osioon (ja kaikissa muissa testeissä), " selitti Stelzhammer, "koska heidän suojaamaton suojaus on otettu käyttöön Windowsissa oletusarvoisesti." Samalla tavalla AV-Test on päättänyt pitää Microsoftin pistemääriä vähimmäistasona.
Painotetut väärät positiiviset
Symantec on vuosien ajan väittänyt, että yksinkertainen virheellisten positiivisten määrien laskeminen ei ole hyödyllistä. Symantecin tutkijat suosittelevat, että kaikki väärät positiiviset testit sisältävät painottamisen kyseisen tiedoston esiintyvyyteen perustuen. He väittävät, että heidän Norton Insight -analyysijärjestelmä estää väärän positiivisen mahdollisuuden kaikissa tiedostoissa paitsi tiedostoissa, joiden esiintyvyys on alhainen. AV-Comparativesin toissijainen asiakirja viittaa siihen, että heillä voi olla oikeus.
Pyydettävän raportin liitteessä Väärä Positiivinen luetellaan kaikki tiedostot, jotka kukin tuote on virheellisesti havainnut haittaohjelmiksi, sekä käytetty haittaohjelman nimi ja arvio esiintyvyydestä. He tunnistivat viisi tasoa, "todennäköisesti vähemmän kuin sata käyttäjää" ja "todennäköisesti useita satoja tuhansia (tai miljoonia)".
Vain nähdäkseni valitsen edustavan määrän käyttäjiä kullakin tasolla, 50 käyttäjää ensimmäisellä tasolla ja kymmenen kertaa suurempi jokaisella korkeammalla tasolla, 500 000 käyttäjillä yleisimmistä ohjelmista. Lasken sen jälkeen käyttäjien lukumäärän, johon kunkin tuotteen väärät positiiviset asiat voivat vaikuttaa. Seuraavassa taulukossa esitetyt tulokset viittaavat siihen, että AV-Comparativesin tulisi harkita samanlaisen painotetun FP-laskelman käyttöä.
Tässä taulukossa tuotteet, jotka ovat menettäneet luottotason väärien positiivisten takia, esitetään lihavoituna kursivoituna. Painotetulla laskelmallani Norton FP voi vaikuttaa 13 750 käyttäjään. Useilla tuotteilla, joita ei värjätty valinnaisten kappaleiden lukumäärän perusteella, oli tosiasiallisesti suurempi vaikutus kuin Symantecillä, mukaan lukien voittajat Kaspersky ja F-Secure.
Emsisoftilla oli eniten vääriä positiivisia positiivisia kokonaismääriä, 38 niistä. Kamala, eikö niin? Mutta kumpikaan ei ollut kahdesta korkeimmasta levinneisyysasteesta, joten sen teoreettinen vaikutus on vähemmän kuin Sophosilla, jossa on yhteensä 6 FP: tä, tai ESET: llä, jossa on 9 FP: tä.
McAfee sai ADVANCED-arvosanan perusvaatimuksissa. Kun 15 väärää positiivista positiivista, se on vain pieni määrä, joka johtaisi siihen, että se menettäisi luottotason. Silti painotetulla laskelmallani on mahdollisesti vastuussa vaikutuksista reilusti kaksisataantuhanteen käyttäjään, melkein 16 kertaa niin monta kuin Nortoniin.
Nämä eivät ole reaalimaailman lukuja, vain ajatuskokeilu, joka auttaa ymmärtämään, mitä vallitsevuuden käyttäminen väärien positiivisten mittaamisessa tarkoittaa. Tämän harjoittelun jälkeen toivon, että AV-Comparatives löytää tavan ottaa huomioon esiintyvyys väärissä positiivisissa testeissä. Pelkkä numeroiden laskeminen ei selvästikään riitä.
