Ein Schritt vor, zwei Schritte zurück

„Alles in der Welt muss langsam und falsch von statten gehen, damit der Mensch nicht hochmütig werde, damit der Mensch traurig und verwirrt sei.“

Wenedikt Jerofejew, Moskau – Petuschki

Ich hätte nie gedacht, dass ich diesen Satz jemals benutzen werde, wenn ich über die Antivirus-Industrie spreche, doch genau das mache ich jetzt. Natürlich läuft nicht alles auf der Welt reibungslos. Wirtschaftliche Realität und die Suche nach neuen Kunden schaffen es immer wieder, sogar die Besten auf die dunkle Seite zu locken. Diesmal erlag eines der bekanntesten Testlabors der AV-Branche – AV-TEST – den Verlockungen.

Vergleichstests: Ein paar Hintergrundinformationen für Einsteiger

Wie schafft man es, das beste Produkt einer Gruppe zu finden? Und woher weiß man, dass es wirklich das beste ist? Nun, wahrscheinlich würden Sie die Vergleichstests in Magazinen oder ihren Online-Versionen lesen. Ich bin sicher, das ist für Sie nichts Neues. Das gleiche gilt auch für Antivirus-Lösungen – es gibt mehrere Testlabors, die alle möglichen Antivirus-Produkte testen und vergleichen, und dann die Ergebnisse publizieren.

Doch nun hat das renommierte deutsche Testlabor AV-TEST recht still (es gab keine Vorwarnung) seinen Zertifizierungsprozess geändert – warum auch immer (ich werde unten versuchen, die möglichen Gründe herauszufinden). Die Änderung bedeutet, dass die nach den neuen Regeln erstellten Zertifikate, gelinde gesagt, ziemlich nutzlos sind, wenn man die Leistungen der verschiedenen AV-Produkte vergleichen möchte.

Ich würde sogar sagen, dass die Zertifizierungen von Heimanwenderprodukten im Antivirus-Bereich durch AV-TEST keinen angemessenen Vergleich der Produktqualität mehr erlauben. Ich würde es daher nicht empfehlen, diese Zertifikate zur Auswahl eines Sicherheitsprodukts für Ihren PC heranzuziehen. Denn eigentlich sollte man annehmen können, dass zwei Produkte, die das gleiche Zertifikat bekommen haben, in ihrer Leistung auch gleichwertig (oder zumindest fast gleichwertig) sein sollten. Mit den neuen Zertifizierungsstandards von AV-TEST, muss der Anwender selbst die eigentlichen Testergebnisse jedes einzelnen Tests vergleichen… und wird dabei vielleicht feststellen, dass ein Produkt, das 99,9 Prozent aller Angriffe blockiert, das gleiche Zertifikat erhalten hat, wie ein Produkt, das nur 55 Prozent aller Angriffe abwehrt.

Lassen Sie uns das, was hier passiert ist, genauer ansehen – ein kleiner Kurs für die Interpretation von AV-TEST-Ergebnissen.

Die Formel für eine perfekte AV-Lösung wurde schon vor langer Zeit erstellt. Sie sieht ungefähr so aus:

1.  i.        100% Schutz und 0% Fehlalarme, so gennante False Positives.
2. Keine Auswirkungen auf die System-Ressourcen.
3. Und keine Nachfragen an den Benutzer.

(iv. Wenn man noch die Fantasie etwas spielen lassen möchte, sollte das alles auch noch kostenlos angeboten werden.)

Dieses Ideal ist natürlich nicht erreichbar, doch wir können zumindest daran arbeiten, so nah wie möglich heran zu kommen, indem wir folgende Punkte beachten:

• So viele schädliche Programme abzufangen, wie nur möglich. Und wenn doch eines durchkommt, die Infektion behandeln zu können (und Schutzmaßnahmen auch auf einem infizierten Computer installieren zu können).
• Das Risiko für False Positives zu minimieren – und wenn Sie doch einmal vorkommen, sie möglichst schnell abzuschaffen.
• „Unser Innerstes kennt keine Grenzen“, sagt ein guter Freund von mir. Grenzenlos ist auch die Arbeit, die in der Speicheroptimierung, der möglichst geringen Auslastung des PCs sowie der Zahl und Größe der Updates für AV-Lösungen steckt. Und keine dieser Optimierungen sollte natürlich den Schutz an sich beeinträchtigen.

Das klingt alles ganz logisch. Doch was macht ein Anwender, wenn er vor Dutzenden von Antiviren-Programmen steht? Welches ist besser, und warum ist es besser? Wer kann sie daraufhin bewerten, wie nah sie an das AV-Ideal heranreichen? (Denken Sie daran, jedes der angebotenen Produkte behauptet recht überzeugend, dass es das beste ist.)

Wem kann man also glauben, dass er die Wahrheit sagt? Natürlich den unabhängigen Testern, zu denen auch AV-TEST gehört.

Vor ein paar Jahren hat das AV-TEST-Team eine sehr gute Methode zum Testen von AV-Lösungen entwickelt, und um ein Zertifikat zu erhalten, musste ein Produkt in allen Kategorien fast fehlerlos abschneiden. Getestet wurden die Produkte in drei Kategorien:

• PROTECTION (Schutz vor Infizierungen)
• REPAIR (Reparatur bestehender Infizierungen)
• USABILITY (einfache Bedienung, Leistung und Zahl der False Positives).

Ein Zertifikat wurde (oder wurde nicht) basierend auf den Ergebnissen in diesen drei Bereichen (nach Anzahl der insgesamt erreichten Punkte) vergeben. Wir haben diese Methode unterstützt und das System als gutes Beispiel für andere Labors der „Champions League“ der Vergleichstests empfohlen.

Was hat sich also bei AV-TEST verändert? Warum können wir den Zertifikaten nicht mehr trauen?

Zunächst einmal haben sich die Kriterien für die Zertifikatsvergabe geändert. Die wichtige Kategorie REPAIR wurde abgeschafft. Doch was bringt eine AV-Lösung, die eine Infizierung zwar entdeckt, diese aber nicht behandeln kann? (Denken Sie nur mal an Ihren Zahnarzt, der zu Ihnen sagt: „Oh, Sie haben da ein Loch im Zahn, aber wir werden das nicht behandeln – wir können es nicht behandeln!“) Erst kürzlich haben wir herausgefunden, dass über fünf Prozent der weltweiten Computer mit installierter AV-Lösung trotzdem infiziert sind! Das ist jeder zwanzigste Computer! Die Möglichkeit, dass eine AV-Lösung eine bestehende Infizierung entfernt, ist für Millionen von Menschen weltweit also enorm wichtig.

Man muss AV-TEST zu Gute halten, dass sie einen separaten, fortschrittlicheren REPAIR-Test durchführen wollen… allerdings fließt dieser nicht mehr in die Zertifizierungen mit ein. Zudem soll er – und das ist das Wichtigste – nur noch optional durchgeführt werden! Wenn ein Antivirus-Hersteller von den Reparaturleistungen seiner Software nicht überzeugt ist, kann er den REPAIR-Test einfach nicht durchführen lassen, um ein schlechtes Testergebnis zu vermeiden. Zumindest sehen die Anwender, wer den Test mitmacht und wie die Teilnehmer abschneiden – ein guter Hinweis darauf, wie zuverlässig eine AV-Lösung den Computer schützen kann.

Zum zweiten wurde die Schwelle für die Zertifizierung gesenkt – nun muss ein Produkt nur noch 10 von 18 möglichen Punkten erreichen, um eine Auszeichnung zu bekommen.

Zum dritten bezieht sich die Kategorie USABILITY nun nur noch auf False Positives. Es liegen Welten zwischen dieser Vorstellung von Benutzerfreundlichkeit und der Benutzerfreundlichkeit, die auch die Systemleistung bewertet. Mit den aktuellen Testkriterien von AV-TEST könnten False Positives auch einfach in die Kategorie PROTECTION aufgenommen werden – als Gegengewicht zur Entdeckungsrate (viele andere Testlabors tun dies bereits).

Welche Konsequenzen hat diese Änderung des Zertifizierungsprozesses von AV-TEST?

In erster Linie wird das Zertifikat dadurch ernsthaft entwertet. Die Zahl der Testteilnehmer wird sich erhöhen – bisher trauten sich manche AV-Hersteller nicht, an den Tests teilzunehmen, da sie genau wussten, dass ihre Lösungen keine Chance auf ein Zertifikat hatten. Jetzt wird so ziemlich jeder eine Auszeichnung von AV-TEST bekommen, und nur die faulsten oder unfähigsten werden außen vor bleiben.

Tatsächlich muss man sogar befürchten, dass mit diesen einfacheren Kriterien auch ein ganz einfaches AV-Programm ein „Zertifikat“ von AV-TEST erhalten kann. Und warum auch nicht? Es gibt ja auch keinen Grund, nach neuer Malware zu suchen – man muss nur den steten Fluss von öffentlichen Online-Scannern mit mehreren AV-Engines (etwa VirusTotal) beobachten. Es gibt keinen Grund, irgendetwas genauer zu analysieren – man nimmt einfach den Multi-Scanner und „entdeckt“ Dateien, die andere schon gefunden haben (und findet sie mit MD5, um False Positives zu vermeiden). Dann entwirft man noch eine Benutzeroberfläche, erstellt eine kleine Update-Funktion, setzt ein paar Windows-Funktionen oben drauf, um dauerhaften Schutz zu simulieren, zeichnet ein schönes Icon für das Windows-Benachrichtigungsfeld und packt alles in eine Installationsdatei. Und dann schickt man das an AV-TEST und wartet auf sein Zertifikat!

Im Grunde geht damit die Balance der Beurteilung von Technologie und Benutzerfreundlichkeit verloren. Das einzelne Testergebnis ist immer noch stichhaltig und wird auch weiterhin von Security-Kennern geschätzt werden. Doch die niedrigere Schwelle für das Zertifikat von AV-TEST wird leider bedeuten, dass es für den normalen Anwender, der sich informieren und für eine zuverlässige AV-Lösung entscheiden möchte, nutzlos sein wird.

So sieht es aus… bleibt noch eine Frage:

Warum hat AV-TEST das Zertifikatssystem geändert? Warum machen sie es für sich und andere schlechter?

Zu den wirklichen Gründen ist nur wenig bekannt (AV-TEST hat die Änderungen kaum kommentiert), doch wir können sie vielleicht auch selbst herausfinden. Dazu sehen wir uns zunächst mal die wirtschaftlichen Gegebenheiten des Testgeschäfts an.

Ja, auch das Testen von AV-Lösungen ist ein Geschäft. Ich kann das gut verstehen. Einen guten Test durchzuführen ist nicht nur eine Sache des Verstands – man braucht auch ein große Investition in die richtige Infrastruktur, muss Büros anmieten und Gehälter zahlen. Und wie in anderen Geschäftsbereichen auch, gibt es eine Beziehung zwischen Qualität und Gewinn. Manchmal verringern Firmen bewusst die Qualität, um mehr Gewinn zu erwirtschaften. Auf kurze Sicht, kann sich das richtig auszahlen. Doch auf lange Sicht führt es zu Schwächung und Konkurs.

Kann das hier auch zutreffen? Der härteste Test – die Reparatur eines infizierten Systems (REPAIR) – wurde aus dem „Pflichtprogramm“ entfernt. Jetzt muss man die Produkte nur noch mit einer Sammlung von Schadprogrammen und sauberen Programmen testen und schon ist man fertig!

Klar, die neuen Testbedingungen werden AV-TEST wahrscheinlich neue Kunden bringen, die erfreut Ihre „Medaillen“ präsentieren werden, so dass bald jede Antivirus-Webseite eine haben wird. Doch das Testlabor wird seine Einzigartigkeit einbüßen, und auch das Vertrauen der technisch orientierten AV-Hersteller, auf die sich die ganze Industrie verlässt.

Ich verurteile auf keinen Fall, wenn jemand mehr €€€€€ verdienen will! Mit den richtigen Prioritäten ist das ein Anzeichen für den Erfolg eines Unternehmens und die Qualität seiner Produkte und Dienstleistungen. Das hilft ja auch, die Qualität sogar noch weiter zu verbessern und – zum Vorteil aller – noch mehr zu verdienen 🙂 Die Test-Branche ist da keine Ausnahme. Viele Firmen in diesem Bereich haben schon ihr Sortiment erweitert und sind in neue Testbereiche vorgestoßen (AV-TEST war ebenfalls beteiligt), haben nicht nur tiefer, sondern auch in die Breite gegraben, und ihre professionelles Karma verbessert. Vielleicht führt die Jagd nach ein paar Extra-Cents aber zu einem Abstieg in den Mainstream, und entwertet die Urteile zu „Zertifikaten für alle“ zu einem fairen Preis.

Die nächste logische Frage ist: Warum sind unsere Produkte nach wie vor im AV-TEST-System?

Zum einen ist unsere Meinung, dass mehr Tests auch objektivere Bewertungen ermöglichen. Wir haben keine Angst. Wir vertrauen auf unsere Technologien sowie die Qualität unserer Schutzmodule. Und wenn wir Beschwerden über den ein oder anderen Test haben, sprechen wir diese direkt und öffentlich an.

Zudem bietet AV-TEST viele andere nützliche Tests und Zertifikate, inklusive Tests für Unternehmenslösungen und mobile Apps. Die Reparaturfunktion ist für Firmenkunden oft nicht so wichtig wie für Heimanwender. Denn selbst in kleinen Firmen findet man meist Sysadmins und Sicherungskopien, die zusammen eine Infizierung schlagen können, falls ein AV-Produkt doch einmal versagt.

Fazit

1.  i.        Durch den neuen Zertifizierungsprozess, empfehlen wir Heimanwendern, die AV-TEST-Zertifikate nicht in die Entscheidung für eine Sicherheitslösung einzubeziehen.
2. Dennoch ist es natürlich OK, die einzelnen Bewertungen der Kategorien PROTECTION und PERFORMANCE in die Entscheidung einfließen zu lassen, und natürlich auch den versprochenen neuen REPAIR-Test. Um es noch einmal zu sagen: Wir haben nichts gegen die Methodologie der Einzeltests von AV-TEST… wir bemängeln nur, welche Punkte in die Vergabe der „Zertifikate“ einfließen.
3. Es ist auch im Interesse von AV-TEST, die Meinungen der Experten der AV-Hersteller anzuhören, um ein wirklich passendes Zertifikatssystem zu entwickeln, das den Anwendern hilft, eine fundierte Entscheidung zu treffen. Dazu gehören auch eine Rückkehr zur AMTSO (Anti-Malware Testing Standards Organization)  und die Diskussion der strittigen Punkte mit den Vertretern nahezu aller führender AV-Hersteller und Industrie-Experten.