„Alle Tiere sind gleich, doch manche sind gleicher als die anderen.“ Das sagte Napoleon, das Chef-Schwein in Orwells dystopischem Klassiker. Das Geniale an dieser Aussage ist ihre Allgemeingültigkeit – ein kleiner Zusatz bringt die Wahrheit ans Licht. Aber dieses witzige Paradox [sic] passt nicht nur in Farm-Revolutionsgeschichten, sondern auch bei einem (anscheinend ganz anderem) Thema wie – halten Sie sich fest – Antivirus-Tests! „Alle veröffentlichten AV-Testergebnisse sind gleich, doch manche sind gleicher als die anderen.“ In der Tat können die von manchen AV-Herstellern veröffentlichten Testergebnisse unabhängiger Vergleichstests nicht mehr als gleichwertig bezeichnet werden, nachdem erfinderische Marketingleute ihre Magie angewandt und die Ergebnisse „verarbeitet“ haben: Sie sind so verzerrt, dass man daraus keinen wahren Gehalt ziehen kann.
Nehmen wir eine fiktive Antivirus-Firma – eine, die sich kaum mit hervorragender Technologie oder Schutzqualität von den anderen unterscheidet, aber riesige Ambitionen hegt und einen Super-Duper-Umsatzplan hat. Was kann die Firma also tun, um der Weltherrschaft etwas näher zu kommen? Die Antivirus-Engine verbessern, die Antiviren-Datenbank erweitern und/oder Qualität und Performance des Scans zu erhöhen? Nein, nein, nein. Das dauert viiiieeeeel zu lange. Und kostet viiiieeeeeel zu viel Geld. Das gilt aber nur, wenn man bereits ganz oben in der Liga der Antivirus-Produzenten mitspielt (die erste Liga zu erreichen ist nicht so schwer). Doch je näher man der Spitze der Champions Leage der Schutzprogramme kommt, umso mehr Geld muss man für jedes weitere Hundertstel eines echten Prozents Schutz investieren. Und umso mehr Experten benötigt man.
Es ist billiger und schneller, einen anderen Weg zu gehen – nicht den Weg der Technologie, sondern den Weg des Marketings. Deshalb werden mangelhafte technologische Fähigkeiten und Qualität der Viren-Entdeckung oft durch gerissene Informations-Strategien ausgeglichen.
Aber wie?
Indirekt; so wird das gemacht…
Was also ist die beste Art, die Qualität eines Antivirus-Produkts zu beurteilen? Natürlich über die unabhängige, objektive Meinung von Dritten. Analysten, Kunden und Partner geben gute Hinweise, doch ihre Unparteilichkeit kann nicht garantiert werden. Vergleichstests von unabhängigen, spezialisierten Testlabors sind dagegen das einzig Wahre. Doch die Tester sind eigenartige Wesen: Sie konzentrieren sich nur auf ihren kleinen Bereich – das Testen. Das ist eigentlich ganz gut, denn dann sind die Tests gut ausgeführt – also umfassend und akkurat –, und das ist gar nicht so leicht. Doch ihre Ergebnisse wirken manchmal… etwas langweilig, und sie könnten etwas aufpoliert werden. Hier kommt das Test-Marketing von jenen ins Spiel, die die Tests in Auftrag geben: die listige Manipulation der objektiven Testergebnisse – um die mit den schmutzigen Gesichtern wie Engel aussehen zu lassen, und/oder die erstklassigen Produkte wie Verlierer darzustellen. Das erinnert alles an die alte östliche Parabel von den blinden Männern und dem Elefanten. Nur dass in diesem Fall die Marketingleute – die alles genau sehen – die Ergebnisse absichtlich voreingenommen „wahrnehmen“. Die Blinden können nicht anders, als Sinnestäuschungen zu haben.
Es ist natürlich nicht kriminell, Testergebnisse zu manipulieren. Es wird dadurch für die Anwender nur sehr schwer, die Spreu vom Weizen zu trennen. Und das ist nicht gut. Ein Beispiel: Es ist einfach, Daten (etwa zur Auslastung des Systems durch ein bevorzugtes Produkt) von einigen nerdigen und nicht allzu profesionellen Tests zu ziehen, während man zu den Ergebnissen der (viel wichtigeren) Malware-Entdeckung nicht sagt. Dann vergleicht man diese Spitzenwerte der Systemauslastung – und nur diese – mit der Systemauslastung der Mitbewerber. Und als nächstes schwafeln alle Marketing-Materialien ad nauseam über genau diese toll niedrige Systemauslastung. Und das nennt man dann einen beispielhaften Produktunterschied! Ein anderes Beispiel: Das neue Produkt eines AV-Herstellers wird mit den älteren Versionen der Mitbewerber verglichen. Das ist kein Witz! Das wird wirklich gemacht. Und zwar oft. Schockierend? Ja, natürlich!
Das Problem ist, dass dabei eigentlich keine Lügen erzählt werden – es ist nur eine selektive Sicht auf die bevorzugten Daten. Herumgepfuscht wird nicht mit formellen, festgelegten Kriterien – sondern mit ethischen Kriterien. Und da es keine legalen Wege gibt, dafür „Gerechtigkeit“ zu bekommen, können wir nur an Sie appellieren, wachsam zu sein und das überall verteilte Marketing-Gesäusel sorgfältig zu filtern. Anderenfalls besteht das Risiko, dass Sie mit einer über die Maßen hochgejubelten, aber technisch minderwertigen AV-Software hängengelassen werden, und Ihr Vertrauen in Tests und die komplette Security-Industrie verlieren. Wer braucht das schon? Sie sicherlich nicht. Eigentlich niemand.
Das Thema des skrupellosen Test-Marketings wurde hier bereits generell angesprochen. Lassen Sie uns daher heute die Tricks, die die Marketingleute bei ihrem zwielichtigen Geschäft nutzen, genauer beleuchten. Und, wie man sie erkennt und bekämpft. Gehen wir sie doch der Reihe nach durch…
1.Beauftragung „undurchsichtiger“ Testlabore, zur Prüfung der Qualität der Malware-Entdeckung. Das ist der wahrscheinlich einfachste und am wenigsten risikoreiche Kniff. Er wird vor allem gerne von kleinen Antivirus-Herstellern oder technologisch unzureichenden Firmen angewandt. Sie finden meist ein kleines, wenig bekanntes „Testlabor“ ohne professionelle Referenzen. Sie sind günstig, die Test-Methodologie wird normalerweise nicht offengelegt, eine Prüfung der Testergebnisse ist unmöglich und das Risiko den guten Ruf zu verlieren, liegt ausschließlich beim Testlabor (und das hat damit auch kein Problem).
Fazit: Wenn bei Testergebnissen die Test-Methodologie nicht beschrieben wird, oder die Methodologie ernste „Bugs“ enthält, kann man den Testergebnissen auch nicht trauen.
2.Nutzung alter Tests. Warum sollte man jedes Jahr den ganzen Ärger auf sich nehmen, wenn man auch alle zwei oder drei Jahre durch Zufall einen Test gewinnen kann – und dann einfach mehrere Jahre über diesen einen Sieg labern kann, als sei er scheinbar der Beweis für konstante Überlegenheit?
Fazit: Prüfen Sie das Datum eines Tests. Wenn er schon älter ist, oder keine Quelle angegeben wird (veröffentlichte Ergebnisse des Tests inklusive Veröffentlichungsdatum) – vertrauen Sie so einem Test nicht.
3.Vergleiche mit alten Versionen. Hier gibt es zwei Möglichkeiten. Erstens: Vergleiche mit alten Produkten durch die ganze Bank – unter denen die Produkte der AV-Firma wie durch Zauberei den Sieg erringen. Währenddessen sind die Flaggschiffe der Industrie natürlich mit Volldampf weitergefahren, und ihre Qualität wurde weiter verbessert. Zweitens: Vergleiche der Produkte der gegebenen AV-Firma mit alten Versionen der Produkte eines Mitbewerbers. Das geht mal unter die Gürtellinie!
Fazit: Passen Sie auf, wenn es um die Frische der Produktversionen geht. Wenn Sie hier Unterschiede feststellen, werden Sie wohl veräppelt. Vergessen Sie auch diese „Testergebnisse“.
4.Vergleich der Unvergleichbaren. Wie kann man sein technologisches Können am besten demonstrieren? Ganz einfach! Man vergleicht Unvergleichbares in ein oder zwei sorgfältig ausgewählten Kategorien. Zum Beispiel Produkte unterschiedlicher Bereiche (Heimanwenderprodukte und Lösungen für Unternehmen) oder komplett verschiedene Technologien (etwa Schutzlösungen ohne Agent und Agenten-basierte Produkte für virtuelle Umgebungen).
Fazit: Achten Sie nicht nur auf die Versionen und Erscheinungsdaten der verglichenen Produkte, sondern auch auf die Namen der Produkte!
5.Besonderes Herausstellen bestimmter Eigenschaften, während andere nicht erwähnt werden. Einen Test vermasselt? Alle Tests vermasselt? Kein Problem. Das Test-Marketing wird’s schon richten. Das Rezept ist einfach: Man nehme eine bestimmte Funktion (meist die hohe Scan-Geschwindigkeit oder die geringe Systembelastung (die üblichen Merkmale löchriger Schutzlösungen)), ziehe nur diese eine aus den Testergebnissen, schmücke alle Fahnen in aller Welt damit, und zeige sie stolz, als wäre dies ein Beweis für die Besonderheit des Produkts. Hier ein Beispiel dafür.
Fazit: Wenn ein Hersteller dauernd nur von „schnell, effektiv, günstig“ spricht, ist es wahrscheinlich Augenwischerei. So einfach ist das.
6.Nutzen irrelevanter Test-Methodologien. Hier gibt es normalerweise genug Raum für listige Manöver. Der durchschnittliche Anwender beschäftigt sich meist nicht mit den Details der Test-Methodologien (er hat ja auch andere Dinge zu tun), doch der Teufel steckt immer im Detail. Denn oft haben Tests nichts mit den Bedingungen in der echten Welt zu tun und spiegeln daher auch nicht die wirkliche Qualität einer Antivren-Lösung in der echten Welt wider. Ein anderes Beispiel: Subjektive Gewichtungen auf bestimmte Test-Parameter.
Fazit: Wenn Äpfel und Birnen verglichen werden, können Sie die Ergebnisse so eines Tests auch mit… Tests zur Lautstärke der Toilettenspülung vergleichen: Der Nutzen solcher Vergleiche ist in etwa gleich.
7.Selektives Testen. Hierzu muss ein ernsthafter analytischer Aufwand betrieben werden, zudem erfordert es einiges an Erfahrung und Können in Schwindeln/Schönreden/Mumpitz J. Hier wird komplexes statistisch-methodologisches Wissen angewandt, wobei die starken Aspekte eines Produkts selektiv von verschiedenen Tests gezogen werden, und diese dann mit einer Kombination der oben beschriebenen Methoden zu einer einseitigen „vergleichenden“ Analyse zusammengefügt werden. Ein unverfrorenes Beispiel so einer Täuschung finden Sie hier.
Fazit: „Wenn sie lügen wollen, machen Sie’s kurz“©! Wenn jemand recht lang erklärt und nicht so richtig auf den Punkt kommt – nunja, dann ist es halt offensichtlich…
8.Offensichtlicher Betrug. Hier gibt es zahlreiche Möglichkeiten. Am weitesten verbreitet ist es, Virensignaturen zu stehlen und damit die eigenen Produkte für bestimmte Tests zu verbessern (und dann mit den oben genannten Szenarios weiterzumachen). In den Chat-Räumen der AV-Industrie wird oft noch über ganz andere Betrugsarten gesprochen. Zum Beispiel wurde behauptet, dass ein ungenannter Hersteller den Testern eine spezielle Version seines Produkts gegeben habe, die genau darauf abgestimmt war, in deren Testumgebung optimal zu arbeiten. Der Trick war einfach: Um zu kompensieren, dass das Produkt nicht alle infizierten Dateien des Tests finden konnte, entdeckte es einfach alle Dateien, über die es stoplerte. Als Nebeneffekt produzierte das natürlich eine unnatürlich hohe Zahl an False Positives – aber Sie werden es nicht glauben: Die daraus resultierenden Marketing-Materialien haben darüber nicht ein Wort verloren. Sehr nett! Nicht.
Fazit: Nur Profis können die Betrüger aussortieren. Der durchschnittliche Anwender schafft das leider nicht. Was kann man also tun? Sehen Sie sich verschiedene, konkurrierende Tests an. Wenn ein bestimmtes Produkt in einem einzigen Test ein außergewöhnliches Resultat zeigt, während es in anderen Tests versagt – dann kann nicht ausgeschlossen werden, dass die Tester dieses einen erfolgreichen Tests irgendwie hintergangen worden sind.
9.Kommen wir zum letzten Trick – der auch der einfachste ist: In Tests einfach nicht teilzunehmen. Oder den Testern zu verbieten, die Produkte bei ihren echten Namen zu nennen, und sie dafür hinter Begriffen wie „Hersteller A“, „Hersteller B“, usw. zu verstecken. Warum also überhaupt teilnehmen, wenn der Test nur beweisen wird, dass der Kaiser wirklich keine Kleider trägt? Wenn ein Name auf einmal von der Liste der getesteten Produkte verschwindet, kann man so einem Produkt dann noch trauen? Natürlich nicht.
Fazit: Prüfen Sie genau, ob ein bestimmtes Produkt an allen öffentlichen Tests teilnimmt. Wenn es nur bei Tests zu finden ist, in denen ausschließlich seine Vorteile aufgelistet werden und keine oder nur sehr wenige Schwächen, sollten Sie misstrauisch werden. Denn dann kann es sein, dass wieder einmal das Test-Marketing seine fragwürdigen Kunststücke vorführt.
Übrigens: Wenn Sie sich ein bisschen tiefer mit den verschiedenen Testergebnissen befassen möchten und dabei Test-Marketing von Kaspersky Lab finden, das eine der oben genannten krummen Touren macht, scheuen Sie sich nicht: Feuern Sie in den Kommentaren in meine Richtung. Ich verspreche Ihnen, dass ich es wieder gutmache… und ein ernstes (ehrlich!) Gespräch mit dem Verantwortlichen führen werde 🙂
Um es kurz zusammenzufassen: Was soll ein Nutzer tun, wem soll er glauben, und wie soll er mit den Hunderten Tabellen, Tests und Diagrammen umgehen? (Zufälligerweise wurde das hier bereits behandelt). Hier also einige wichtige Regeln zum „Lesen“ von Testergebnissen, um unehrliches Test-Marketing entlarven zu können:
- Prüfen Sie das Datum des Tests, sowie die Versionen und Funktionen der getesteten Produkte.
- Prüfen Sie, wie oft ein Produkt in Tests auftaucht.
- Fokussieren Sie sich nicht auf eine bestimmte Funktion. Betrachten Sie das ganze Spektrum der Fähigkeiten eines Produkts – am wichtigsten ist dabei die Qualität des Schutzes.
- Schauen Sie sich die Test-Methodologie an und überprüfen Sie den Ruf des Testlabors.
Der letzte Punkt (4) ist nicht für alle Leser gleich wichtig, vielleicht nur für die Spezialisten. Allen anderen empfehle ich, die folgende Liste der Testlabors. Dies sind angesehene Teams mit langjähriger Erfahrung in der Security-Industrie, die mit bewährten und relevanten Methodologien arbeiten, die die Standards von AMTSO (Anti-Malware Testing Standards Organization) erfüllen.
Doch zuerst noch ein Hinweis – um das Troll-Potential von Anfang zu verringern: In den Tests dieser Labore liegen auch wir nicht immer auf dem ersten Platz. Ich empfehle sie aufgrund ihrer Professionalität.
Und nun – der finale Akkord: Die Übersicht der Testlabore für 2011 bis 2012. Ein interessanter Hintergrund für alle, die gerne mehr Informationen hätten:
Und wirklich zu guter Letzt – bereits komplett abschließend, um die große Menge an Buchstaben zusammenzufassen:
Vielleicht will jetzt jemand auf mich einhauen, weil er meint, ich würde hier nur einfach billig auf Mitbewerber einhauen. Die eigentliche Aufgabe – zum wiederholten Male – ist, ein Problem zur öffentlichen Diskussion zu stellen. Ein Problem, über das schon oft gesprochen wurde, für das es aber immer noch keine Lösung gibt. Nämlich, dass es bis heute keine etablierten und allgemeinverständlichen Methodologien für Vergleichstests von Antivirus-Produkten gibt, auf die sich alle Beteiligten verständigen können. Und die existierenden Methodologien sind kaum zu verstehen – nicht von den Anwendern, und nicht von den Entwicklern!
In der Zwischenzeit sollten wir versuchen, miteinander auszukommen, aber nicht unsere Augen vor den Problemen in diesem Bereich zu verschließen und uns damit zu beruhigen, dass die „kreative Manipulation“ von Statistiken normalerweise innerhalb einigermaßen vernünftiger Grenzen passiert – bei allen Entwicklern. Wie immer müssen die Anwender ihre Auswahl möglichst gut treffen, indem sie nach den echten Daten suchen, die die Spreu vom Weizen trennen. Leider hat dafür nicht jeder die Zeit oder die Geduld. Das ist verständlich. Aber schade.
Letzte Worte: Seien Sie auf der Hut!
