Wir führen die Top3 an: transparent und für jeden sichtbar!

Man könnte meinen, dass wir damals das Glück hatten, zur richtigen Zeit am richtigen Ort gewesen zu sein, um uns einige Jahre später in einen der weltweit führenden Cybersicherheitsanbieter zu verwandeln. Doch diese Annahme ist vollkommen falsch! Lassen Sie mich Ihnen eine Geschichte erzählen …

Tatsächlich habe ich haben wir uns als Unternehmen zu Beginn unserer AV-Arbeit ein Ziel gesetzt. Und zwar ein sehr ehrgeiziges Ziel.

Ich erinnere mich noch daran, als wäre es gestern gewesen. Mein langjähriger Freund Alexey De Mont De Rique und ich warteten 1992 an der Straßenbahnhaltestelle auf die Straßenbahn Nummer 6, nicht weit von der Metrostation Sokol in Moskau entfernt – damals, als wir 12 bis 14 Stunden am Tag arbeiteten, schlug ich Alexey vor, uns selbst ein Ziel zu setzen. Seine Antwort darauf? „Okay, welches Ziel genau? Und glaubst du wirklich, dass wir uns ein Ziel setzen sollten?“

„Wir sollten das beste Antivirenprogramm der Welt entwickeln“, war dann meine Antwort. Alexey schluckte zwar kurz, aber lehnte nicht ab. Stattdessen fingen wir an, den Weg zu unserem Ziel langsam zu ebnen und zu gestalten – wir arbeiteten noch härter und verloren dabei nie unser Ziel aus den Augen. Und es hat funktioniert!

Wie genau?

Durch harte Arbeit, Ideenreichtum und den starken Willen, in der damals sehr schwierigen Zeit in Russland zu überleben und zu gedeihen [Russland Anfang der 90er Jahre: Der Zusammenbruch der Sowjetunion und ihrer Kommandowirtschaft; der Kampf, „sofort“ auf eine Marktwirtschaft umzusteigen, Inflation, Arbeitslosigkeit, Gesetzlosigkeit…]. Wir arbeiteten ununterbrochen. Ich entdeckte neue Viren, während Alexey die neue Benutzeroberfläche codierte und Vadim Bogdanov, Editor der AV-Datenbanken, all seine Kräfte aufwandte, um die verschiedenen Computertools für meine Arbeit zusammenzubasteln. Ja, in den 90er Jahren bestand das Unternehmen lediglich aus uns Dreien! Dann 4, dann 5, dann … den Rest kennen Sie!

Erinnern Sie sich noch daran, wie ich Ihnen zu Beginn des Beitrags gesagt habe, dass es bei unserem Erfolg nicht darum ging, zur richtigen Zeit am richtigen Ort gewesen zu sein? Nun, ein wenig Glück war vielleicht doch im Spiel: denn 1994 fanden die weltweit ersten „Olympischen Antivirus-Spiele“ statt. An der Uni Hamburg wurde Sicherheitssoftware erstmals unabhängigen Tests unterzogen. Natürlich hatten wir Glück, dass diese unabhängigen Tests damals stattgefunden haben. Es war allerdings kein Glück, dass wir gewonnen haben.

Oh ja! Wir haben damals die Goldmedaille geholt (ein Trend, der übrigens noch heute zur Tradition gehört). Wir haben also quasi von Anfang an bereits die höchsten Ergebnisse erzielt. Und auch in anderen unabhängigen Tests, die zu dieser Zeit durchgeführt wurden, erhielten wir immer wieder Gold. Hurra!

Hier ein Foto, als wir übrigens bereits zu viert waren. Das Foto muss Vadim geschossen haben. Von links nach rechts: Alexey De Mont De Rique, Andrey Krukov (bis heute Teil der K-Familie), und meine Wenigkeit.

Tatsächlich fanden unabhängige Antiviren-Tests auch früher statt, aber so etwas „Olympisches“ wie in Hamburg gab es bis dato nicht; darüber hinaus wurden meist begrenzte Szenarien verwendet: Wie dieses und jenes AV die bösartigsten Cyberbakterien erkennt. Zum Beispiel testete ICARO (die italienische Computer-Antivirus-Forschungsorganisation!) Einen Monat vor dem Hamburger Uni-Test, wie gut AV nur ein Paar super-mutierender Viren erkannt hat. Natürlich lag unsere Erkennungsrate bei 100%. Übrigens: Beide Viren waren MS-DOS-basiert – 16-Bit; heutzutage kaum mehr relevant.

Sie können sich bereits ein Bild machen: Von Anfang an – und bis heute – haben wir uns immer das ehrgeizige Ziel gesetzt, die besten Technologien der Welt zu entwickeln. Aber Benutzer haben Anbieter diesbezüglich nie beim Wort genommen, warum sollten sie auch? Dementsprechend ist parallel zur Entwicklung der Cybersicherheitsbranche selbst auch eine Branche unabhängiger Testlabors entstanden.

Nachdem wir jedoch begonnen hatten, an allen Tests teilzunehmen, stießen wir plötzlich auf eine kleine Schwierigkeit …

Es ist kein Geheimnis, dass verschiedene Testlabors unterschiedliche Testmethoden einsetzen, und auch ihre Bewertungssysteme können unterschiedlich sein. Dies macht einen Vergleich jedoch kaum möglich. Darüber hinaus ergeben bestimmte Testergebnisse immer ein vollständigeres Bild, wenn alle AV-Marktteilnehmer vertreten sind. Beispiel: eine Erkennungsrate von 99%: wird es immer ein vollständigeres Bild davon geben, was passiert, Für sich allein ist das bedeutungslos. Denn wenn alle anderen Mitbewerber eine Erkennungsrate von 100% haben, sind 99% ein schlechtes Ergebnis. Aber wenn alle oder die meisten Wettbewerber viel niedrigere Prozentsätze erreichen, wie zum Beispiel 90%, 80% oder weniger, sind 99% Gold wert.

Aus genau diesem Grund fingen wir intern damit an, eine aggregierte Metrik namens Top3 zu verwenden, die sowohl absolute als auch relative Ergebnisse in allen Tests für alle Anbieter zusammenfasste.

Wie gesagt – die Metrik wurde lediglich intern verwendet. Sie wurde als interner Benchmark (Vergleichsmaßstab) verwendet und half unseren F&E-Jungs und -Mädels, besser, schneller und stärker zu werden. Erst viel später, im Jahr 2013, realisierten wir schließlich, dass die Top3 veröffentlicht werden sollten! Ich meine – warum nicht?

Wie wir an die in Statistiken der Top3 gelangen?

Zunächst berücksichtigen wir alle maßgeblichen Testlabors, die im angegebenen Kalenderjahr Anti-Malware-Tests durchgeführt haben.

Darüber hinaus berücksichtigen wir das gesamte Spektrum der Tests dieser Labore und aller teilnehmenden Anbieter.

Drittens vergleichen wir Folgendes zusammenstellend: (i) die Anzahl der Tests, an denen ein Anbieter teilgenommen hat; (ii) den Prozentsatz der absoluten Gesamtsiege; und (iii) den Prozentsatz der Siege (Top-3-Plätze). Wir haben uns dazu entschlossen, die Metrik in 3D zu erstellen, um alle drei Variablen in einem Diagramm darzustellen.

Im Anschluss die wichtigsten Auswahlkriterien für unsere Tests:

1) Die Tests müssen von weltweit anerkannten und erfahrenen Laboratorien durchgeführt werden (kurzlebige Labore, die in kürzester Zeit kommen und gehen, nehmen nicht teil);
2) Tests müssen über eine transparente Methodologie verfügen;
3) Die Transparenz der Ergebnisse muss gewährleistet sein – Anbieter müssen die Möglichkeit haben, schlechte Testergebnisse einsehen zu können;
4) Sowohl unabhängige als auch von Anbietern oder anderen Drittanbietern in Auftrag gegebene Tests dürfen in die Metrik aufgenommen werden;
5) Tests, an denen K-Produkte teilgenommen haben und nicht teilgenommen haben, sind enthalten. So werden die Transparenz und Objektivität der Metrik gewährleistet und es wird ausgeschlossen, dass keine Tests berücksichtigt werden, bei denen unsere Ergebnisse möglicherweise nicht sehr gut waren. Alle technischen Eigenschaften und alle transparenten Prüfungen sind enthalten.
6) Alle Testergebnisberichte müssen auf Englisch veröffentlicht werden.

Die Berechnungsmethodik wurde seit der Einführung der Metrik kaum verändert; es wurden lediglich kleine Verbesserungen vorgenommen, um die Genauigkeit zu steigern und gleichzeitig die Ergebnisse der Teilnehmer unparteiisch zu halten.

Eine interaktive Version der Top3-Ergebnisse der letzten Jahre finden Sie hier. Und ja, diese riesige grüne Kugel in der oberen rechten Ecke – das sind wir!