Security Awareness messen: Warum Teilnahmequoten keine Wirkung belegen

Eine hohe Teilnahmequote ist für Security Awareness wichtig. Sie zeigt, ob die vorgesehene Zielgruppe erreicht wurde und ob eine Maßnahme organisatorisch funktioniert hat. Sie beantwortet jedoch nicht die entscheidende Frage: Treffen Beschäftigte anschließend bessere sicherheitsrelevante Entscheidungen?

Genau diese Trennung ist für CISOs und Awareness-Verantwortliche zentral. Wer Reichweite, Lernergebnis, beobachtbares Verhalten und organisatorische Folgen in einer Kennzahl vermischt, kann ein formal erfolgreiches Programm melden und trotzdem an den eigentlichen Risiken vorbeisteuern. Ein belastbares Reporting muss deshalb zeigen, welche Aussage eine Kennzahl trägt – und welche nicht.

Teilnahme ist ein Reichweitenmaß

Abschluss- und Teilnahmequoten beantworten eine klare operative Frage: Wie viele der vorgesehenen Personen haben die Maßnahme absolviert? Das ist für Steuerung, Nachweise und die Planung weiterer Termine nützlich. Fehlen bestimmte Bereiche oder Rollen, wird eine Abdeckungslücke sichtbar.

Als Wirksamkeitsnachweis reicht diese Kennzahl nicht. Eine 2023 veröffentlichte NIST-Studie zu Awareness-Programmen in US-Bundesbehörden fand genau dieses Spannungsfeld: Abschlussquoten waren die am häufigsten genannte Messgröße, während die Befragten zugleich Schwierigkeiten beschrieben, tatsächliche Auswirkungen des Programms zu bestimmen. Die Studie umfasste Fokusgruppen mit 29 Fachleuten und eine Befragung mit 96 Teilnehmenden. Ihr Ergebnis lässt sich nicht ungeprüft auf jedes Unternehmen übertragen, belegt aber ein reales Steuerungsproblem: Compliance-Daten sind leicht verfügbar, Verhaltenswirkung ist deutlich schwerer zu messen.

Das NIST trennt diese Ebenen auch in seiner 2024 aktualisierten Leitlinie für Cybersecurity- und Privacy-Lernprogramme. Messgrößen sollen über reine Compliance hinausgehen und an Lernziele, Fähigkeiten, Einstellungen und Verhaltensänderungen gekoppelt werden. Für Verantwortliche folgt daraus: Die Teilnahmequote bleibt im Dashboard, bekommt aber eine präzise Bezeichnung. Sie steht für Abdeckung, nicht für Risikoreduktion.

Vier Ebenen für ein belastbares Awareness-Reporting

Ein sinnvolles Kennzahlensystem beginnt nicht mit dem, was ein Tool exportieren kann. Es beginnt mit dem Sicherheitsziel. Erst wenn klar ist, welche Entscheidung oder welcher Prozess verbessert werden soll, lässt sich festlegen, welche Beobachtung dafür geeignet ist.

Reichweite und Verfügbarkeit

Auf dieser Ebene liegen Teilnahme, Abschluss, Abdeckung kritischer Rollen und die Verfügbarkeit einer Maßnahme für die vorgesehene Zielgruppe. Die Daten helfen bei der operativen Steuerung. Sie zeigen beispielsweise, ob ein dezentraler Bereich regelmäßig durch das Raster fällt. Sie sagen noch nichts darüber aus, ob Inhalte verstanden oder im Arbeitsalltag angewendet wurden.

Lernen und Entscheidungsqualität

Hier geht es um die Frage, ob Beschäftigte relevante Risiken unterscheiden und begründete Entscheidungen treffen können. Dafür eignen sich Auswertungen, die an konkrete Lernziele gebunden sind: Welche Themen werden sicher beherrscht, wo häufen sich Fehlentscheidungen, und unterscheiden sich die Muster zwischen Zielgruppen? Einzelwerte sollten nicht isoliert bewertet werden. Aussagekräftiger ist eine wiederholte Betrachtung vergleichbarer Themen, weil sich nur so stabile Lücken von zufälligen Schwankungen trennen lassen.

Die aktuelle NIST-Leitlinie ordnet Evaluation entlang von Reaktion, Lernen, Verhalten und Ergebnissen. Diese Ebenen erinnern daran, dass ein positives Feedback zur Schulung und ein korrekt beantwortetes Thema andere Aussagen tragen als beobachtbare Anwendung oder ein organisatorisches Ergebnis.

Beobachtbare Sicherheitsprozesse

Auf dieser Ebene wird geprüft, ob vorgesehene Abläufe genutzt werden. Dazu können Qualität und Geschwindigkeit von Meldungen, die Nutzung definierter Eskalationswege oder wiederkehrende Fehlerklassen in realen Vorfällen gehören. Solche Daten entstehen meist außerhalb der Lernplattform. Security Operations, Helpdesk, Incident Response und Awareness-Team müssen deshalb vorab gemeinsame Definitionen festlegen.

Ein steigendes Meldevolumen ist dabei nicht automatisch ein schlechteres Ergebnis. Das britische National Cyber Security Centre warnt ausdrücklich davor, Kennzahlen so zu gestalten, dass die Abwesenheit von Meldungen belohnt wird. Wer nur Fehler oder Klicks zählt, kann Schweigen begünstigen. Das NCSC empfiehlt, auch erfolgreiche Meldungen zu betrachten. Für das Reporting bedeutet das: Kennzahlen müssen das erwünschte Verhalten sichtbar machen, ohne einzelne Personen öffentlich an den Pranger zu stellen.

Organisatorische Ergebnisse

Die anspruchsvollste Ebene verbindet Awareness mit Zielen des Unternehmens. Denkbar sind weniger wiederkehrende menschliche Fehler in klar abgegrenzten Prozessschritten, früher erkannte verdächtige Vorgänge oder eine verlässlichere Eskalation. Hier ist Zurückhaltung bei Kausalität nötig. Technische Kontrollen, Prozessänderungen, Bedrohungslage und Meldekultur wirken gleichzeitig. Eine Veränderung lässt sich deshalb selten einer einzelnen Schulung zuschreiben.

Für das Management ist eine ehrliche Zuordnung hilfreicher als eine scheinbar präzise Erfolgszahl. Das Reporting sollte offenlegen, welche Datenquelle genutzt wurde, welcher Zeitraum betrachtet wird und welche anderen Faktoren das Ergebnis beeinflussen können.

Von Kennzahlen zu Entscheidungen

Ein Dashboard wird erst wertvoll, wenn jede Kennzahl eine Entscheidung auslöst. Reichweitendaten steuern Einladungen und Zielgruppen. Thematische Ergebnisse bestimmen, welche Inhalte vertieft werden. Prozessdaten zeigen, wo Meldewege oder Verantwortlichkeiten unklar sind. Organisatorische Indikatoren helfen, Prioritäten und Budgets mit dem Risikomanagement abzugleichen.

Dafür braucht jede Kennzahl eine feste Definition, eine Datenquelle, einen Betrachtungszeitraum und einen verantwortlichen Empfänger. Ebenso wichtig ist ein Ausgangswert vor einer Veränderung. Das NIST empfiehlt für organisatorische Ergebnisse Baselines, damit spätere Veränderungen überhaupt eingeordnet werden können. Vergleichbarkeit ist dabei wichtiger als ein großer Kennzahlenkatalog: Werden Fragen, Zielgruppen oder Messbedingungen ständig verändert, verliert der Zeitverlauf seine Aussagekraft.

Die Security-Awareness-Plattform von What The Hack! stellt nach einer Session Spielergebnisse, Auswertungen und Teilnahmezertifikate bereit. Administratoren können damit unter anderem dokumentieren, wie viele Personen geschult wurden, und erkennen, bei welchen Themen fachliche Stärken oder blinde Flecken liegen. Diese Daten passen zu den Ebenen Reichweite und Lern- beziehungsweise Entscheidungsqualität. Sie belegen für sich allein keine Verhaltensänderung im Arbeitsalltag. Dafür müssen Unternehmen sie mit eigenen Prozess- und Risikodaten verbinden.

Wer die Messung bereits bei der Planung einer Cybersecurity-Awareness-Maßnahme festlegt, vermeidet einen häufigen Fehler: erst zu schulen und anschließend nach einer passenden Erfolgsgeschichte in den vorhandenen Daten zu suchen. Stattdessen stehen Ziel, Messpunkt und erwartete Managemententscheidung vor dem Start fest.

Was im Managementbericht stehen sollte

Ein belastbarer Bericht trennt vier Aussagen: Wen haben wir erreicht? Was wurde verstanden oder entschieden? Welche vorgesehenen Sicherheitsprozesse werden genutzt? Welche Entwicklung sehen wir bei den relevanten organisatorischen Ergebnissen? Zu jeder Ebene gehören Grenzen der Aussagekraft.

Damit verändert sich auch die Rolle der Teilnahmequote. Sie verschwindet nicht, sondern bekommt den richtigen Platz. Für Audit und operative Steuerung bleibt sie wichtig. Für die Bewertung der Wirksamkeit ist sie der Anfang einer Beweiskette, nicht deren Ende. Genau diese Klarheit ermöglicht bessere Entscheidungen über Themen, Zielgruppen, Formate und den nächsten Einsatz des Awareness-Budgets.