Agenda

Automated Quality Gates für LLM-basierte Anwendungen: Validierung und Staging mit Vertex AI

LLM-basierte Anwendungen im Produktivbetrieb, zum Beispiel Agents, API-Integrationen oder komplexe Workflows, stehen vor einem grundlegenden Problem: Jedes Modell-Update oder jede Änderung an Prompts, Tools oder Orchestrierungslogik kann das Antwortverhalten unvorhersehbar verändern.

Wie stellst du sicher, dass deine Anwendung nach einem neuen Modell-Release oder nach eigenen Anpassungen weiterhin verlässliche Ergebnisse liefert? Dieser Vortrag zeigt, wie sich mit Vertex AI Pipelines und LLM-basierten Evaluator:innen automatisierte Quality Gates aufbauen lassen, die als Validierungsschranken im Staging fungieren. Ziel ist eine reproduzierbare, an eigenen Qualitätsattributen orientierte Testautomatisierung für komplexe Szenarien auf und mit Google Cloud.

KI vs Datenqualität: Wie weit können und wollen wir uns bei Testdaten auf LLMs verlassen?

„Das kannst du doch auch mit KI machen.“ Diesen Satz hast du sicher schon oft gehört. Entwicklung einer neuen App, Aufbau einer Marketingstrategie, Erstellung von Testfällen oder Accessibility-Tests – vieles scheint sich mit ChatGPT umsetzen zu lassen. Auch beim Thema Testdaten gibt es zahlreiche Ideen für den Einsatz von KI. Vorreiter:innen haben in den vergangenen Monaten ihre Praxiserfahrungen in Konferenzvorträgen mit der Community geteilt. Schnelle Erfolge sowie Herausforderungen bei Datenqualität, Skalierbarkeit, Kontrollierbarkeit, Datenschutz und Kosten treten dabei häufig gemeinsam auf.

Die zentrale Frage lautet: Wo ziehst du in der Qualitätssicherung die Grenze, wenn immer mehr Entwicklungs- und Testaufgaben an eine Blackbox delegiert werden und „Human-in-the-Loop“ nicht mehr skaliert? Wo setzt du den Vertrauensanker? In diesem Vortrag erhältst du Impulse zum Thema Testdaten und wirst zum Austausch mit anderen Teilnehmenden über Erfahrungen und Ideen angeregt. Dabei geht es unter anderem darum, wie LLMs dich unabhängiger von Produktivdaten machen können, wie weit du bei der Erstellung von Testdaten mit LLMs bereits gekommen bist, wie KI bei unterschiedlichen Testzielen abschneidet, was „gute“ Testdaten ausmacht, wo die Grenzen der KI liegen und wer letztlich die Verantwortung für Daten-, Test- und Softwarequalität trägt. Du wirst das Potenzial und die Herausforderungen beim Einsatz von KI in der Testdatenerstellung besser verstehen und dich von Best Practices der Community inspirieren lassen.

Back to Wasserfall? Warum KI Agile nicht ersetzt, sondern Requirements Engineering zurückbringt

KI kann heute Testfälle, Testdaten und Testsuiten in Sekunden generieren. In der Praxis zeigt sich jedoch: Je stärker KI genutzt wird, desto wichtiger werden klare und strukturierte Anforderungen, was sich für viele Teams plötzlich wie ein Rückschritt in Richtung Wasserfall anfühlt. Der Vortrag zeigt anhand konkreter Beispiele, wie sich klare und unklare Anforderungen direkt auf KI-Ergebnisse im Testing auswirken und warum es dabei nicht um mehr Dokumentation, sondern um besseres Requirements Engineering und eine höhere Testbarkeit geht.

Aktuelle Studien und Ergebnisse der Forschung Technische Überlegenheit vs. Expertise und Erfahrung Einordnung von Potenzial, Grenzen und praktischer Relevanz für die IT-Sicherheit

In dem Vortrag wird beleuchtet, inwieweit Künstliche Intelligenz als Unterstützung im Penetration Testing eingesetzt werden kann und welche Potenziale sich daraus für die IT-Sicherheit ergeben. Auf Basis aktueller Studien und Forschungsergebnisse wird dargestellt, welche technischen Fähigkeiten KI-Systeme bereits besitzen und wo ihre Grenzen liegen. Zudem wird eingeordnet, wie sich KI im Vergleich zu menschlicher Expertise und Erfahrung verhält und welche Rolle sie künftig in Sicherheitsprozessen spielen kann. Der Vortrag bietet eine sachliche Bewertung von Möglichkeiten, Einschränkungen und der praktischen Relevanz von KI im Kontext professioneller IT-Security.