DIPM: Datengetriebene Inverse Prozedurale Modellierung

Dieses Projekt entwickelt neue Verfahren zur 3D Rekonstruktion komplexer Objekte. Diese Verfahren nutzen gelerntes semantisches Vorwissen, repräsentiert über prozedurale Modelle, um trotz partieller oder verrauschter Daten, robuste Lösungen zu liefern. Dazu werden KI Methoden zur Geometrieschätzung erarbeitet, indem datengetrieben strukturelle und topologische Regeln erlernt und bei der Rekonstruktion als Vorwissen berücksichtigt werden. Hierfür wird auf Fortschritte im Bereich Natural Language Processing und Reinforcement Learning zurückgegriffen, um die Repräsentation prozeduraler Modellierung für die Rekonstruktion zugänglich zu machen. Zum Beispiel wird bei Bäumen so erlernt, dass sich hinter Blättern Äste befinden müssen, welche die Blätter verbinden, und kleine Äste über größere mit dem Stamm verbunden sind. Dieses Projekt erarbeitet folgende Beiträge:
- Die Optimierung einer generalisierten Repräsentation von prozeduralen Modellen, welche das Training der zu entwickelnden Methoden verbessert und verschiedene prozedurale Modelle kombiniert.
- Die multiview und monokulare 3D Rekonstruktion durch datengetriebene inverse prozedurale Modellierung.
- Methoden der Ableitung prozeduraler Modelle anhand von Beispieldaten.