Automated Quality Gates für LLM-basierte Anwendungen: Validierung und Staging mit Vertex AI

LLM-basierte Anwendungen im Produktivbetrieb, zum Beispiel Agents, API-Integrationen oder komplexe Workflows, stehen vor einem grundlegenden Problem: Jedes Modell-Update oder jede Änderung an Prompts, Tools oder Orchestrierungslogik kann das Antwortverhalten unvorhersehbar verändern.

Wie stellst du sicher, dass deine Anwendung nach einem neuen Modell-Release oder nach eigenen Anpassungen weiterhin verlässliche Ergebnisse liefert? Dieser Vortrag zeigt, wie sich mit Vertex AI Pipelines und LLM-basierten Evaluator:innen automatisierte Quality Gates aufbauen lassen, die als Validierungsschranken im Staging fungieren. Ziel ist eine reproduzierbare, an eigenen Qualitätsattributen orientierte Testautomatisierung für komplexe Szenarien auf und mit Google Cloud.

KI vs Datenqualität: Wie weit können und wollen wir uns bei Testdaten auf LLMs verlassen?

„Das kannst du doch auch mit KI machen.“ Diesen Satz hast du sicher schon oft gehört. Entwicklung einer neuen App, Aufbau einer Marketingstrategie, Erstellung von Testfällen oder Accessibility-Tests – vieles scheint sich mit ChatGPT umsetzen zu lassen. Auch beim Thema Testdaten gibt es zahlreiche Ideen für den Einsatz von KI. Vorreiter:innen haben in den vergangenen Monaten ihre Praxiserfahrungen in Konferenzvorträgen mit der Community geteilt. Schnelle Erfolge sowie Herausforderungen bei Datenqualität, Skalierbarkeit, Kontrollierbarkeit, Datenschutz und Kosten treten dabei häufig gemeinsam auf.

Die zentrale Frage lautet: Wo ziehst du in der Qualitätssicherung die Grenze, wenn immer mehr Entwicklungs- und Testaufgaben an eine Blackbox delegiert werden und „Human-in-the-Loop“ nicht mehr skaliert? Wo setzt du den Vertrauensanker? In diesem Vortrag erhältst du Impulse zum Thema Testdaten und wirst zum Austausch mit anderen Teilnehmenden über Erfahrungen und Ideen angeregt. Dabei geht es unter anderem darum, wie LLMs dich unabhängiger von Produktivdaten machen können, wie weit du bei der Erstellung von Testdaten mit LLMs bereits gekommen bist, wie KI bei unterschiedlichen Testzielen abschneidet, was „gute“ Testdaten ausmacht, wo die Grenzen der KI liegen und wer letztlich die Verantwortung für Daten-, Test- und Softwarequalität trägt. Du wirst das Potenzial und die Herausforderungen beim Einsatz von KI in der Testdatenerstellung besser verstehen und dich von Best Practices der Community inspirieren lassen.

Fast Tests, Clean Code: Gen-AI für wartbare UI-/E2E-Automatisierung

GenAI kann innerhalb weniger Minuten Testcode erzeugen. Gleichzeitig kann jedoch auch der Wartungsaufwand schnell steigen. Dieser Erfahrungsbericht zeigt den Weg von „messy Testcode-Generierung“ hin zu einem AI-Agenten, der direkt in die Entwicklungsumgebung integriert ist und aus fachlichen Testfällen stabilen sowie wartbaren UI-/E2E-Testcode erstellt.

Ziel des Agenten ist es, die „Time-to-Test“ deutlich zu verkürzen und gleichzeitig auch Personen ohne Entwicklungsrolle einzubinden – ohne Qualitätsverlust, ohne steigende Flaky-Tests und ohne unkontrollierten Wildwuchs. Der Fokus liegt dabei klar auf Wartbarkeit, Stabilität und Reproduzierbarkeit in der Ausführung. Darüber hinaus spielt die Skalierbarkeit über mehrere Anwendungen und Automatisierungsprojekte hinweg eine zentrale Rolle.

Der Vortrag zeigt, welche Leitplanken dabei helfen, den Agenten an gewünschte Output-Strukturen zu binden und an individuelle Ziele anzupassen, wie ein Automatisierungs-Workflow gestaltet werden kann, bei dem der Mensch die Kontrolle behält, wie sich Erfolg hinsichtlich Aufwand, Qualität und Stabilität messen lässt und wie der Ansatz auf mehrere Projekte und Repositories skaliert werden kann.

Der Vortrag richtet sich an alle, die Geschwindigkeit steigern und gleichzeitig eine nachhaltige Qualitätssicherung etablieren möchten.

Aktuelle Studien und Ergebnisse der Forschung Technische Überlegenheit vs. Expertise und Erfahrung Einordnung von Potenzial, Grenzen und praktischer Relevanz für die IT-Sicherheit

In dem Vortrag wird beleuchtet, inwieweit Künstliche Intelligenz als Unterstützung im Penetration Testing eingesetzt werden kann und welche Potenziale sich daraus für die IT-Sicherheit ergeben. Auf Basis aktueller Studien und Forschungsergebnisse wird dargestellt, welche technischen Fähigkeiten KI-Systeme bereits besitzen und wo ihre Grenzen liegen. Zudem wird eingeordnet, wie sich KI im Vergleich zu menschlicher Expertise und Erfahrung verhält und welche Rolle sie künftig in Sicherheitsprozessen spielen kann. Der Vortrag bietet eine sachliche Bewertung von Möglichkeiten, Einschränkungen und der praktischen Relevanz von KI im Kontext professioneller IT-Security.