Master Thesis
Strukturerhaltende Extraktion technischer Dokumente und ein Benchmark für Text, Tabellen, Formeln und Abbildungen
Die Bundesanstalt für Materialforschung und -prüfung (BAM) ist eine wissenschaftlich-technische Bundesoberbehörde im Geschäftsbereich des Bundesministeriums für Wirtschaft und Klimaschutz. Sie forscht, prüft und berät zum Schutz von Mensch, Umwelt und Sachgütern.
Der Fachbereich 3.3 Sicherheit von Transportbehältern befasst sich mit Forschung, Prüfung und Bewertung von Transport- und Lagerbehältern für radioaktive Stoffe. Im Rahmen der Bauartzulassung werden umfangreiche Sicherheitsberichte, technische Zeichnungen und Nachweisdokumente bewertet.
Im Forschungsprojekt KI-Dokumentenanalyse entwickelt die BAM Methoden, um die in diesen Unterlagen verstreuten, heterogenen und multimodalen Informationen maschinell zugänglich zu machen. Grundlage dafür ist eine verlässliche Verarbeitung der zugrunde liegenden Dokumente, von der robusten Extraktion ihrer Inhalte bis zur gezielten Auffindbarkeit einzelner Aussagen. Die ausgeschriebene Arbeit setzt an dieser gemeinsamen Daten-Grundlage an und läuft vollständig auf lokaler BAM-Infrastruktur, ohne kommerzielle Cloud-Dienste.
Thema der Arbeit
Sicherheitsberichte und Nachweisdokumente sind umfangreiche PDF-Dokumente, deren fachlicher Gehalt nicht allein im Fließtext steckt. Wesentliche Informationen liegen in Tabellen (Materialkennwerte, Lastannahmen, Nachweisergebnisse), in mathematischen Formeln, in technischen Abbildungen und Diagrammen sowie in einer komplexen Seitenstruktur (mehrspaltig, Kopf- und Fußzeilen, über mehrere Seiten laufende Tabellen). Etablierte Extraktionswerkzeuge erfassen Fließtext zuverlässig, scheitern aber regelmäßig an genau diesen schwierigen Elementen.
Da jede nachgelagerte Analyse, etwa Suche, Wissensgraph oder Prüfunterstützung, nur so gut sein kann wie die zugrunde liegende Extraktion, ist die verlässliche und strukturerhaltende Extraktion aller Dokumentbestandteile eine zentrale Voraussetzung des Projekts. Sie ist zugleich wissenschaftlich anspruchsvoll, weil die Extraktionsqualität pro Elementtyp bislang kaum systematisch und reproduzierbar gemessen wird.
Aufgabe der Arbeit
In dieser Arbeit soll eine bestehende Extraktions-Pipeline so erweitert werden, dass Text, Tabellen, Formeln, Abbildungen und Diagramme sowie Layout und Lesereihenfolge zuverlässig und strukturerhaltend aus den Berichts-PDFs gewonnen werden. Verschiedene methodische Ansätze, beispielsweise layout-bewusste Modelle, OCR-Verfahren und visuell-sprachliche Modelle (VLM), sollen implementiert und gegeneinander verglichen werden.
Den wissenschaftlichen Kern der Arbeit bildet ein eigener annotierter Goldstandard aus BAM-Projektdokumenten samt elementtyp-spezifischer Metriken, etwa Präzision und Recall, Tabellen- und Formel-Genauigkeit sowie Maße für Struktur und Lesereihenfolge. Damit wird die Extraktionsqualität je Elementtyp messbar und der Methodenvergleich belastbar. Die gesamte Verarbeitung erfolgt lokal auf BAM-Infrastruktur.
Agenda
- Literaturrecherche zur Dokument-Extraktion: Layout-Analyse, Tabellen-, Formel- und Abbildungserkennung, VLM-basierte Ansätze
- Aufbau bzw. Erweiterung einer Extraktions-Pipeline für Text, Tabellen, Formeln, Abbildungen und Layout
- Erstellung eines annotierten Goldstandards aus BAM-Projektdokumenten mit elementtyp-spezifischen Annotationsrichtlinien
- Definition und Implementierung von Evaluationsmetriken je Elementtyp
- Vergleichende Evaluation mehrerer Extraktionsansätze und systematische Fehleranalyse
- Dokumentation und wissenschaftliche Einordnung der Ergebnisse
Qualifikation:
- Sehr gute Programmierkenntnisse in Python
- Erfahrung mit großen Sprachmodellen (LLMs) und agentischen Workflows
- Grundkenntnisse in maschinellem Lernen und in der Verarbeitung natürlicher Sprache (NLP)
- Von Vorteil: Erfahrung mit Computer Vision bzw. visuell-sprachlichen Modellen (VLM) und mit Dokumentenverarbeitung
- Selbstständige, strukturierte und wissenschaftliche Arbeitsweise
Kontakt:
Mohamed Tababi, Telefon: 030 8104-3674, E-Mail: Mohamed.Tababi@bam.de
Adresse:
Bundesanstalt für Materialforschung und -prüfung (BAM)
Fachbereich 3.3 Sicherheit von Transportbehältern
Unter den Eichen 44-46
12203 Berlin
