Evaluation von RAG-Systemen – automatisiert und kontinuierlich

Wie gut ist dein RAG?

Retrieval-Augmented Generation (RAG) erweitert Large Language Models (LLMs) um aktuelle und relevante Informationen und ermöglicht so präzisere, nachvollziehbare und fundierte Antworten. Im produktiven Unternehmensumfeld ist es unerlässlich, dass die gelieferten Informationen verlässlich und qualitativ hochwertig sind. Ein RAG-System besteht jedoch aus einer fragilen Kette diverser Komponenten – von Embeddings und Vektor-Datenbanken bis hin zu unterschiedlichen KI-Modellen. Jede dieser Komponenten verfügt über zahlreiche Konfigurationsparameter, deren Effekte oft erst im Zusammenspiel sichtbar werden. Wie lässt sich mit überschaubarem Aufwand beurteilen, ob die gewählte RAG-Konfiguration tatsächlich optimale Ergebnisse liefert – bezogen auf die tatsächlichen, einzulesenden Informationen? Wie können alternative Komponenten, etwa lokal gehostete KI-Modelle, risikofrei getestet werden?

In diesem Vortrag präsentiert Max Jung praxiserprobte Ansätze zur automatisierten und kontinuierlichen Evaluation, zum systematischen Vergleich und zur gezielten Optimierung von RAG-Systemen. Anhand konkreter Evaluationsframeworks und -Tools demonstriert er, wie sich unterschiedliche Konfigurationen schnell und effizient bewerten lassen.

Teilnehmende erleben in einer Live-Demo direkt, wie sich Automatisierung, qualitative Analysen und gezielte Benchmarking-Strategien kombinieren lassen, um fundierte Entscheidungen für den Einsatz und die Optimierung von RAG-Systemen zu treffen.