Framework Image Mosaicing
Prof. Dr. Wolfgang Konen
Stand Januar 2009
Einleitung
Das vollautomatische Image Mosaicing aus Videosequenzen stellt keine leichte Aufgabe dar. Erstens müssen die benutzten Algorithmen sehr schnell laufen, damit eine schritthaltende Verarbeitung (ca. 10-25 fps) möglich ist. Zweitens müssen die Verfahren akkurat arbeiten, damit trotz z.T. variierender Beleuchtung oder anderer Veränderungen die zugehörigen Merkmale aufeinander abgebildet werden. Diesen Vorgang bezeichnet man als Bildregistrierung. Drittens treten in Endoskopaufnahmen bedingt durch Kameraoptik und unterschiedliche 3D-Entfernungen Effekte auf, die eine nichtlineare, ortsabhängige Transformation notwendig machen. Für die ersten beiden Punkte existieren schon gute Teillösungen im Rahmen des Projektes, der dritte Aspekt ist noch ein Gegenstand aktuellen Forschungen.
Optischer Fluss in Echtzeit
Unter dem Optischen Fluss versteht man die wahrgenommene Bewegung der (ruhenden) Umgebung, wenn sich der Betrachter bewegt. Abhängig von Bewegungsrichtung und Erscheinungswinkel im Gesichtsfeld verursachen Umgebungspunkte einen mehr oder weniger starken "Fluss" im Bild. Bei gleichem Winkel verursachen nahe Umgebungspunkte einen stärkeren Fluss als ferne Punkte:
© www.centeye.com
Kennt man den Optischen Fluss von einem Frame einer Sequenz zur nächsten,
so weiß man, wie man jeden Punkt im Image Mosaic zusammenzusetzen hat.
Der Algorithmus nach Kourogi erlaubt es, auf Basis dieses
Optischen Flusses ein Image Mosaicing in Echtzeit aufzubauen. Weitere Details
hierzu finden sich im Technical
Report "Optischer Fluss und Image Mosaicing nach Kourogi" von
Wolfgang Konen.
Kritik am Kourogi-Algorithmus
Ein Beispiel findet sich hier auf der Projektstartseite.
Leider funktioniert der Kourogi-Algorithmus nicht mehr gut, wenn man ihm reale Videosequenzen präsentiert. Im nachfolgenden "Video-Triptychon" zeigt das rechte Bild ein "missglücktes" Mosaik. Die Gründe liegen in diversen Schwierigkeiten des realen Videomaterials begründet: Rauschen und andere Bildstörungen führen zu unterschiedlichen Farbwerten korrespondierender Pixel. Viel gravierender ist aber die im Endoskop mitgeführte Beleuchtung, die das Bild in der Mitte wesentlich heller ausleuchtet als am Rand. Dadurch kann der gleiche Umgebungspunkt am Rand einen um 50 Einheiten (von 255) niedrigeren Grauwert haben als in der Mitte. Damit kann der Kourogi-Algorithmus, der auf Pixelvergleichen basiert, nicht mehr funktionieren.
|
Originale Endoskopsequenz |
Mosaik mit LogSearch |
Mosaik mit Kourogi-Algo |
| (evtl. "Aktualisieren" im Browser betätigen, um alle drei Videos gleichzeitig neu abzuspielen) | ||
Die endoskopische Bildqualität ist aber eine Realität, deshalb begann
die Suche nach einem robusteren Algorithmus. Der in der Mitte gezeigte LogSearch-Algorithmus
bringt eine wesentlich bessere geometrische Zuordnung. Als Artefakte sind
noch dunklere Kreissicheln sichtbar, die davon herrühren, dass die Bilder
zum Rand hin schlechter ausgeleuchtet sind.
Image Mosaicing mit Logarithmic Search (LogSearch)
Der Logarithmic-Search-Algorithmus ist ein schnelles Verfahren, um eine Bildregistrierung herzustellen durch das Matching verschiedener kleiner Bildausschnitte. Dieses Matching erfolgt mittels der normierten Kreuzkorrelation, die Bildausschnitte weitgehend unabhängig von der Beleuchtung zuordnen kann, unter der sie erscheinen. Eine ausführliche Algorithmusbeschreibung erfolgt in Kürze.
Nachfolgend eine Mosaiksequenz mit einer neuen, hochauflösenden Endoskopkamera
und -beleuchtung, die eine wesentlich bessere Ausleuchtung der Szene erzielt.