Testautomatisierung messbar machen – Aufbau eines nachhaltigen Metrik-Frameworks in komplexen Toollandschaften

Wie lässt sich Testautomatisierung wirksam messen, wenn Tools, Teams und Wissen kontinuierlich wachsen?

In vielen Organisationen existieren zwar zahlreiche Reports und Datenquellen, jedoch fehlt häufig eine einheitliche und belastbare Sicht auf die tatsächliche Leistungsfähigkeit der Testautomatisierung. In diesem Meet-up zeigt Ivaylo Brüssow, wie im Umfeld des zweitgrößten öffentlichen Versicherers Deutschlands ein nachhaltiges, automatisiertes und transparentes Metrik-Framework aufgebaut wurde. Ausgehend von einer stark heterogenen Toollandschaft aus Testmanagement-, CI/CD-, Ticket- und Repository-Systemen wurde ein konsistentes Messsystem angestrebt, das relevante Metriken automatisiert erfasst, historisiert und verständlich aufbereitet.

Im Fokus stehen sowohl technische Kennzahlen wie Automatisierungsgrad und Laufzeiten als auch entwicklungsnahe Größen wie Flaky-Tests und Testabdeckung. Die Daten werden aus verschiedenen Systemen zusammengeführt und in Power BI in interaktiven Dashboards visualisiert, um Entwicklungen und Zusammenhänge sichtbar zu machen. Ein zentraler Erfolgsfaktor ist die klare Definition und Dokumentation aller Kennzahlen, inklusive Berechnungslogik und Datenquellen. Dadurch entsteht Transparenz und Vertrauen in die Datenbasis sowie eine stärkere Ausrichtung auf deren Nutzung. Im anschließenden Austausch geht es um die Frage, welche Metriken in anderen Organisationen eingesetzt werden und wie sichergestellt werden kann, dass diese nicht nur erhoben, sondern auch sinnvoll genutzt werden. Gemeinsam werden Ansätze für einen praxisnahen Metrik-Katalog diskutiert, der Testautomatisierung gezielt steuerbar macht.