Forschungsprojekt
"Bildverarbeitung und 3D-Navigation in der Endoskopie"
Prof. Dr. Wolfgang Konen
Stand Januar 2009
Schwerpunkt Image Mosaicing
In der Endoskopie, besonders der Neuroendoskopie, sieht der Operateur durch das Endoskop nur einen begrenzten Ausschnitt des Operationsfeldes ("Scheuklappeneffekt"). Ziel des Projektes ist es, ein automatisiertes Image Mosaic aus dem Live-Videostream zu erstellen, das dem Operateur eine bessere Übersicht verschafft. Dieses Ziel ist anspruchsvoll, besonders wenn man den Weg ganz bis zum Ende denkt: Das Fernziel ist eine Applikation, die in Echtzeit und absturzsicher im klinischen Operationssaal läuft. Deshalb kann dieses Ziel nur erreicht werden, wenn viele
Arbeiten in einem Framework sinnvoll ineinandergreifen und aufeinander aufbauen.
Dieses Dokument stellt ein solches Framework in aller Kürze vor. Es soll
Ihnen, den Studierenden, so Lust zu machen, in einem größeren
Projekzusammenhang mitzuwirken. |
Abb. 1: Links der Blick durch ein
Endoskop, rechts das aus aufeinanderfolgenden Frames zusammengesetzte Mosaic.
Der Match zwischen zwei Frames erfolgt vollautomatisch. |
|
Im Showcase am 29.11.2006 hat Beate Breiderhoff im Vortrag: „Ein automatisiertes Verfahren zum Image-Mosaicing bei endoskopischen Videoaufnahmen“ (Masterarbeit) erste Resultate vorgestellt.
Auf der Konferenz "Bildverabeitung
für die Medizin", München, März 2007, hielt
Auf der internationalen Konferenz CARS (Computer Aided Radiology
& Surgery), Berlin, Juni 2007, hielt Wolfgang Konen einen Vortrag Endoscopic image mosaics
for real-time color video sequences, der erste Ergebnisse auf Farbbildern
vorstellte sowie eine echtzeitfähige Java-Implementierung, die auf der Bachelorarbeit
von Martin Naderi und dem bekannten ImageJ-Framework
beruhte.
August 2008: Mit der Diplomarbeit von Christian Zimmermann, wurden die Arbeiten in das Java Media Framework (JMF) eingebettet. Dieses erlaubt, Sequenzen von beliebigen Vidoe-Streams einzubinden und auch zahlreiche Kameratypen direkt live in den Image Mosaicing Process einzubeziehen. Gleichzeitig entstand ein weiterentwickeltes Graphisches User-Interface (GUI), das dem medizinischen Fachpersonal eine Evaluation der Techniken ermöglicht. Mit der Applikation ist es erstmals möglich, die Mosaik-Algorithmen live in Interaktion mit der Kamera zu erleben.
November 2008: Bisher arbeiten die Mosaicing-Algorithmen intern allein mit Grauwertinformationen (wenngleich die Visualisierung für den Betrachter auch in Farbe möglich ist). In der Dipomarbeit von Sangit Bela Gupta wurde in einer Konzeptstudie untersucht, ob sich durch Nutzung der Farbinformation eine bessere Erkennung erzielen läßt. Die Antwort war positiv, es sind allerdings noch weitere Arbeiten nötig, um das Verfahren beim Image Mosaicing einzusetzen.
Dezember 2008: Das bisherige Verfahren war für reale Endoskopsequenzen, die erhebliche Beleuchtungsunterschiede aufweisen, noch nicht robust genug. Wolfgang Konen entwickelte ein neues Verfahren, das auf Logarithmic Search beruht, und das wesentlich robuster arbeitet.
Derzeit setzt Niklas Liebig, Doktorand der Medizin an der Neurochirurgischen Klinik der Ruhr-Universität Bochum die Software im Rahmen seiner Doktorarbeit ein und evaluiert sie mit neuen, hochauflösenden Endoskopaufnahmen.
Gegenwärtig untersucht Eugen Sewergin in seiner Masterarbeit, inwieweit sich die bisherigen Verfahren, insbesondere Logarithmic Search, durch Parallelisierung unter Einsatz der in vielen Rechnern vorhandenen nVidia-Grafikprozessoren im Rahmen des CUDA-Framework noch erheblich beschleunigen lassen.
Themen, Zielsetzung und Konzeption bereits durchgeführter Arbeiten:
Die Abstracts und PDFs dieser Arbeiten finden sich hier.
Weitere Projektarbeiten, die auf diesen Arbeiten aufsetzen können, sind nachstehend aufgeführt. Bei Interesse kontaktieren Sie uns, wir besprechen dann weitere Details am besten im persönlichen Gespräch:
Ideen für weitere Projekt-, Bachelor-
oder Masterarbeiten
(s. auch BA-, MA-Themenangebote)
Voraussetzungen
Für viele der Arbeiten sind Grundkenntnisse in Bildverarbeitung und ImageJ (zum Beispiel vermittelt im WPF "Bildverarbeitung und Algorithmen") sowie Java hilfreich.
Kurze Sequenzen mit Aufnahmen aus dem neurochirurgischen
OP, (© |
|
|
Image Mosaic generiert aus endoskopischer Videosequenz (Animated, GIF, 1MB) |
Image Mosaic generiert aus realen Farb-Endoskopiedaten (uncompressed
AVI, 5MB) oder (MPG, 0.6MB) |
|
Weitere Videoclips finden sich im Framework Image Mosaicing.
Publikationen und Links
für Interessierte
WPF "Bildverarbeitung
und Algorithmen":
www.gm.fh-koeln.de/~konen/WPF-BV
Publikationen zum
Thema:
Vollständige Publikationsliste zu Projekt BV-3D-Endo
Ausgewählte Publikationen:
Pressespiegel:
Schwerpunkt 3D-Navigation
– folgt in Kürze –
Ansprechpartner
Prof. Dr.
FH Köln, Institut für Informatik
Steinmüllerallee 1
51643 Gummersbach
http://www.gm.fh-koeln.de/~konen
Mail: wolfgang.konen
"at" fh-koeln.de
M.Sc. Dipl. Inform.
Beate Breiderhoff
FH Köln, Institut für Informatik
Steinmüllerallee 1
51643 Gummersbach
http://www.gm.fh-koeln.de/~breider
Mail: breider
"at" gm.fh-koeln.de
Kooperation:
Das gesamte Forschungsprojekt wird durchgeführt in Zusammenarbeit mit
PD Dr. med. Martin Scholz (martin.scholz "at" ruhr-uni-bochum.de),
Leitender Oberarzt der Neurochirurgischen Klinik an der Ruhr-Universität Bochum
© Wolfgang Konen, 10.09.2007 – 02.01.2009