Masterarbeit: Multimodales Retrieval und quellenbelegte Antwortgenerierung für technische Dokumente samt Benchmark

Die Bundesanstalt für Materialforschung und -prüfung (BAM) ist eine wissenschaftlich-technische Bundesoberbehörde im Geschäftsbereich des Bundesministeriums für Wirtschaft und Klimaschutz. Sie forscht, prüft und berät zum Schutz von Mensch, Umwelt und Sachgütern.

Der Fachbereich 3.3 Sicherheit von Transportbehältern befasst sich mit Forschung, Prüfung und Bewertung von Transport- und Lagerbehältern für radioaktive Stoffe. Im Rahmen der Bauartzulassung werden umfangreiche Sicherheitsberichte, technische Zeichnungen und Nachweisdokumente bewertet.

Im Forschungsprojekt KI-Dokumentenanalyse entwickelt die BAM Methoden, um die in diesen Unterlagen verstreuten, heterogenen und multimodalen Informationen maschinell zugänglich zu machen. Grundlage dafür ist eine verlässliche Verarbeitung der zugrunde liegenden Dokumente, von der robusten Extraktion ihrer Inhalte bis zur gezielten Auffindbarkeit einzelner Aussagen. Die ausgeschriebene Arbeit setzt an dieser gemeinsamen Daten-Grundlage an und läuft vollständig auf lokaler BAM-Infrastruktur, ohne kommerzielle Cloud-Dienste.

Thema der Arbeit

Sind die Inhalte der Sicherheitsberichte erst strukturiert extrahiert, müssen sie gezielt auffindbar sein. Prüfende benötigen zu konkreten Prüffragen quellenbelegte Antworten, und zwar nicht nur aus Fließtext, sondern ebenso aus Tabellen, Abbildungen und Diagrammen. Einfache RAG-Ansätze, also eine naive Suche aus Chunking und Embeddings, greifen dafür zu kurz, weil technische, multimodale und stark strukturierte Inhalte verloren gehen oder falsch zugeordnet werden.

Wissenschaftlich anspruchsvoll ist sowohl der Aufbau komplexer, multimodaler Retrieval-Pipelines als auch deren belastbare, vergleichende Bewertung. Für domänenspezifische, multimodale Fragestellungen sind geeignete Benchmarks bisher kaum etabliert.

Aufgabe der Arbeit

In dieser Arbeit soll eine konfigurierbare, multimodale Retrieval-Pipeline aufgebaut werden, die über die naive RAG hinausgeht: Chunking, Embeddings, hybride Suche aus lexikalischen und semantischen Verfahren, Re-Ranking und mehrstufiges Retrieval. Die Pipeline soll Antworten nicht nur aus Text und Tabellen, sondern auch aus Abbildungen und Diagrammen liefern, gestützt auf visuell-sprachliche und große Sprachmodelle (VLM und LLM).

Den wissenschaftlichen Kern der Arbeit bildet ein eigener annotierter Retrieval-Goldstandard aus BAM-Projektdokumenten, also ein Fragenkatalog mit Relevanzurteilen und erwarteten, quellenbelegten Antworten, samt Retrieval- und Antwort-Metriken wie Recall@k, MRR und nDCG sowie Maßen für den Quellenbeleg (Grounding) der Antworten. Damit werden verschiedene Pipeline-Varianten systematisch verglichen. Die gesamte Verarbeitung erfolgt lokal auf BAM-Infrastruktur.

Agenda

• Literaturrecherche zu Information Retrieval, RAG, hybrider und mehrstufiger Suche sowie multimodalem Retrieval aus Tabellen, Abbildungen und Diagrammen
• Aufbau einer konfigurierbaren Retrieval-Pipeline: Chunking, Embeddings, hybride Suche, Re-Ranking
• Erweiterung um multimodales Retrieval und multimodale, quellenbelegte Antwortgenerierung (VLM und LLM)
• Erstellung eines annotierten Retrieval-Goldstandards aus BAM-Projektdokumenten mit Relevanzurteilen
• Definition und Implementierung von Retrieval- und Antwort-Metriken (Recall@k, MRR, nDCG, Grounding)
• Vergleichende Evaluation der Pipeline-Varianten und systematische Fehleranalyse
• Dokumentation und wissenschaftliche Einordnung der Ergebnisse

Qualifikation

• Sehr gute Programmierkenntnisse in Python
• Erfahrung mit großen Sprachmodellen (LLMs) und agentischen Workflows
• Grundkenntnisse in maschinellem Lernen, NLP und Information Retrieval
• Von Vorteil: Erfahrung mit RAG und mit visuell-sprachlichen Modellen (VLM)
• Selbstständige, strukturierte und wissenschaftliche Arbeitsweise

Kontakt

Mohamed Tababi, Telefon: 030 8104-3674, E-Mail: Mohamed.Tababi@bam.de 

Kutlualp Tazefidan, Telefon: 030 8104-3827, E-Mail: kutlualp.tazefidan@bam.de

Adresse

Bundesanstalt für Materialforschung und -prüfung (BAM)
Fachbereich 3.3 Sicherheit von Transportbehältern
Unter den Eichen 44-46
12203 Berlin