Druckversion

 

Forschungsprojekt
"Bildverarbeitung und 3D-Navigation in der Endoskopie"

 

Prof. Dr. Wolfgang Konen

Stand Januar 2009

 

Schwerpunkt Image Mosaicing

 

Zielsetzung

In der Endoskopie, besonders der Neuroendoskopie, sieht der Operateur durch das Endoskop nur einen begrenzten Ausschnitt des Operationsfeldes ("Scheuklappeneffekt"). Ziel des Projektes ist es, ein automatisiertes Image Mosaic aus dem Live-Videostream zu erstellen, das dem Operateur eine bessere Übersicht verschafft. Dieses Ziel ist anspruchsvoll, besonders wenn man den Weg ganz bis zum Ende denkt: Das Fernziel ist eine Applikation, die in Echtzeit und absturzsicher im klinischen Operationssaal läuft.

 

Deshalb kann dieses Ziel nur erreicht werden, wenn viele Arbeiten in einem Framework sinnvoll ineinandergreifen und aufeinander aufbauen. Dieses Dokument stellt ein solches Framework in aller Kürze vor. Es soll Ihnen, den Studierenden, so Lust zu machen, in einem größeren Projekzusammenhang mitzuwirken.

Abb. 1: Links der Blick durch ein Endoskop, rechts das aus aufeinanderfolgenden Frames zusammengesetzte Mosaic. Der Match zwischen zwei Frames erfolgt vollautomatisch.

 

 

Aktuelles aus dem Projekt

 

Im Showcase am 29.11.2006 hat Beate Breiderhoff im Vortrag: „Ein automatisiertes Verfahren zum Image-Mosaicing bei endoskopischen Videoaufnahmen“ (Masterarbeit) erste Resultate vorgestellt.

 

Auf der Konferenz "Bildverabeitung für die Medizin", München, März 2007, hielt Wolfgang Konen einen Vortrag „Real-time image mosaic for endoscopic video sequences", eine Weiterentwicklung, mit der aus einem Videostrom automatisch ein Image Mosaic erstellt werden kann.

 

Auf der internationalen Konferenz CARS (Computer Aided Radiology & Surgery), Berlin, Juni 2007, hielt Wolfgang Konen einen Vortrag Endoscopic image mosaics for real-time color video sequences, der erste Ergebnisse auf Farbbildern vorstellte sowie eine echtzeitfähige Java-Implementierung, die auf der Bachelorarbeit von Martin Naderi und dem bekannten ImageJ-Framework beruhte.

 

August 2008: Mit der Diplomarbeit von Christian Zimmermann, wurden die Arbeiten in das Java Media Framework (JMF) eingebettet. Dieses erlaubt, Sequenzen von beliebigen Vidoe-Streams einzubinden und auch zahlreiche Kameratypen direkt live in den Image Mosaicing Process einzubeziehen. Gleichzeitig entstand ein weiterentwickeltes Graphisches User-Interface (GUI), das dem medizinischen Fachpersonal eine Evaluation der Techniken ermöglicht. Mit der Applikation ist es erstmals möglich, die Mosaik-Algorithmen live in Interaktion mit der Kamera zu erleben.

 

November 2008: Bisher arbeiten die Mosaicing-Algorithmen intern allein mit Grauwertinformationen (wenngleich die Visualisierung für den Betrachter auch in Farbe möglich ist). In der Dipomarbeit von Sangit Bela Gupta wurde in einer Konzeptstudie untersucht, ob sich durch Nutzung der Farbinformation eine bessere Erkennung erzielen läßt. Die Antwort war positiv, es sind allerdings noch weitere Arbeiten nötig, um das Verfahren beim Image Mosaicing einzusetzen.

 

Dezember 2008: Das bisherige Verfahren war für reale Endoskopsequenzen, die erhebliche Beleuchtungsunterschiede aufweisen, noch nicht robust genug. Wolfgang Konen entwickelte ein neues Verfahren, das auf Logarithmic Search beruht, und das wesentlich robuster arbeitet.

 

Derzeit setzt Niklas Liebig, Doktorand der Medizin an der Neurochirurgischen Klinik der Ruhr-Universität Bochum die Software im Rahmen seiner Doktorarbeit ein und evaluiert sie mit neuen, hochauflösenden Endoskopaufnahmen.

 

Gegenwärtig untersucht Eugen Sewergin in seiner Masterarbeit, inwieweit sich die bisherigen Verfahren, insbesondere Logarithmic Search, durch Parallelisierung unter Einsatz der in vielen Rechnern vorhandenen nVidia-Grafikprozessoren im Rahmen des CUDA-Framework noch erheblich beschleunigen lassen.

 

Themen, Zielsetzung und Konzeption bereits durchgeführter Arbeiten:

Die Abstracts und PDFs dieser Arbeiten finden sich hier.

 

Weitere Projektarbeiten, die auf diesen Arbeiten aufsetzen können, sind nachstehend aufgeführt. Bei Interesse kontaktieren Sie uns, wir besprechen dann weitere Details am besten im persönlichen Gespräch:

 

Ideen für weitere Projekt-, Bachelor- oder Masterarbeiten

(s. auch BA-, MA-Themenangebote)

 

 

 

Voraussetzungen

 

Für viele der Arbeiten sind Grundkenntnisse in Bildverarbeitung und ImageJ (zum Beispiel vermittelt im WPF "Bildverarbeitung und Algorithmen") sowie Java hilfreich.

 

 

Videoclips mit Anschauungsmaterial


Kurze Sequenzen mit Aufnahmen aus dem neurochirurgischen OP, Martin Scholz)
MPEG-1: 01 02 03 04 05 (3 sec, je 0.5 MB), 07 (20 sec, 3MB), 08 (3 sec, 0.5 MB), alles als ZIP (6 MB). Diese Sequenzen geben einen Eindruck von der (nicht immer guten, s. 08) Bildqualität. Ferner zeigen 05 und 07 den Einsatz chirurgischer Werkzeuge in der endoskopischen OP.


Beate Breiderhoff und Wolfgang Konen mit neurochirurgischem Endoskop

endo1-1

Image Mosaic generiert aus endoskopischer Videosequenz (Animated, GIF, 1MB)

reale Endoskopbilder

Image Mosaic generiert aus realen Farb-Endoskopiedaten

(uncompressed AVI, 5MB) oder (MPG, 0.6MB)

 

Weitere Videoclips finden sich im Framework Image Mosaicing.

 

 

 

Publikationen und Links für Interessierte

 

WPF "Bildverarbeitung und Algorithmen":

www.gm.fh-koeln.de/~konen/WPF-BV

 

Publikationen zum Thema:

Vollständige Publikationsliste zu Projekt BV-3D-Endo

 

Ausgewählte Publikationen:

 

Pressespiegel:

 

 

 

Schwerpunkt 3D-Navigation

 

   folgt in Kürze 

 

 

Ansprechpartner

 

Prof. Dr. Wolfgang Konen

FH Köln, Institut für Informatik

Steinmüllerallee 1

51643 Gummersbach

http://www.gm.fh-koeln.de/~konen

Mail: wolfgang.konen "at" fh-koeln.de

 

M.Sc. Dipl. Inform. Beate Breiderhoff

FH Köln, Institut für Informatik

Steinmüllerallee 1

51643 Gummersbach

http://www.gm.fh-koeln.de/~breider

Mail: breider "at" gm.fh-koeln.de

 

Kooperation:

Das gesamte Forschungsprojekt wird durchgeführt in Zusammenarbeit mit

PD Dr. med. Martin Scholz (martin.scholz "at" ruhr-uni-bochum.de),

Leitender Oberarzt der Neurochirurgischen Klinik an der Ruhr-Universität Bochum

 

© Wolfgang Konen, 10.09.2007 – 02.01.2009