Merging 3D Spatial Data and 2D+t Temporal Sequences for 3D+t Scene Reconstruction : Two Approaches
Fusion de données spatiales (3D) et temporelles (2D+t) pour la reconstruction de scènes 3D+t : deux approches
Résumé
The main focus of this paper is 3D+t shape recovery from 3D spatial data framing 2D+t temporal sequences. Merging these two kind of data yields a temporal sequence describing 3D dynamic of structures of interest by reconstructing the original volume from each 2D frame. 2D to 3D inverse reconstruction is a complex and ill posed problem due to the great deal of distortion and in-depth information loss generated by the projective view in each 2D frame. To handle this critical lack of information, we model relevantly the 3D-to-2D transformation that reduces each 3D image into a 2D one and we match each frame with the 3D image known at a previous time. Assuming that structures evolve scarcely between a couple successive moments, these images are matched by a displacement vector field measuring voxel position variation meanwhile. We embed the luminosty conservation constraint and we propose two approaches to estimate voxel movement over time. We reconstruct gradually the 3D+t sequence by motion compensation. Some applications observing in different modalities 2D+t and 3D data can benefit from this study such as microscopical cell biology or medical imaging.
L'objet de cette étude est la reconstruction de scènes Temps/Volume, ou, 3D+t à partir de données statiques 3D encadrant des séquences temporelles 2D+t. La combinaison de ces données complémentaires fournit une séquence décrivant la dynamique 3D des structures d'intérêt en reconstruisant le volume original à partir de chaque image 2D de la séquence temporelle. Le problème de reconstruction inverse 2D-3D est complexe et mal posé à cause du manque d'information et de la distorsion spatiale induite par la vue projective dans chaque image 2D. Afin de compenser ce manque d'information critique, nous modélisons le processus de formation des images 2D à partir du volume 3D original et nous mettons en correspondance chaque image 2D avec le volume 3D connu à l'instant précédent. Cette mise en correspondance est établie/schématisée par un champ de vecteurs de déplacements quantifiant les variations de position de chaque voxel entre deux instants successifs. Pour ce faire, nous utilisons l'hypothèse de conservation de la luminosité. Nous proposons deux approches pour estimer le mouvement des voxels et nous reconstruisons la scène 3D+t de proche en proche estimé par compensation du mouvement. Des applications potentielles de cette étude concernent la biologie microscopique cellulaire et l'imagerie médicale.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...