Deep Learning for Galaxy Image Deconvolution
Candidature avant le
28/02/2018
Durée
4 mois
Poursuite possible en thèse
non
Contact
SUREAU Florent
+33 1 69 08 35 87
Autre lien
Résumé/Summary
L'objectif de ce stage est d'explorer des méthodes de deconvolution basées sur l'apprentissage profond, comparées a des méthodes parcimonieuses développées dans le laboratoire, dans le cadre de la mesure de forme de galaxies pour la mission spatiale Euclid.
This internship explores deconvolution strategies based on deep learning, compared with classical sparse approaches for this ill-posed inverse problem, in the context of galaxy shape measurement in the Euclid mission.
Sujet détaillé/Full description
Dans le contexte la mission spatiale Euclid (https://www.euclid-ec.org), la forme d'environ 1 milliard de galaxies doit être mesurée avec un très grande précision sur une large portion du ciel pour en dériver des informations cosmologiques. L'une des étapes clés dans le traitement de ces images est de corriger les images de la réponse impulsionnelle de l'instrument, variant spatialement, et qui est soit modélisée soit estimée à partir des étoiles présentes dans le champ imagé. Cette étape critique requiert des méthodes avancées de déconvolution.
La parcimonie et les représentations parcimonieuses sont au coeur de nombreuses méthodes de l'état de l'art pour la résolution de problèmes inverses mal posés tels ce problème de déconvolution. Ces techniques reposent sur la modélisation des signaux recherchés dans des représentations fixes (par exemple ondelettes, curvelettes etc.) ou des dictionnaires appris, adaptés a leur contenu géométrique de telle sorte que l'information soit condensée en un faible nombre d'atomes. Cette propriété permet de régulariser le problème, qui est ensuite résolu en utilisant des algorithmes d'optimisation convexe [Starck2015]. Une approche utilisant parcimonie et contrainte de faible rang a été ainsi récemment utilisée pour la déconvolution des galaxies dans le contexte de la mesure de leur forme [Farrens2017].
Dans cette quête de représentations adaptées à des signaux et des taches spécifiques, les méthodes d'apprentissage profond se sont révélées très compétitives, que ce soit pour la classification des images [Krizhevsky2012], leur segmentation [Yu16] ou leur débruitage
[Burger12]. Récemment, leur utilisation dans des problèmes de déconvolution a été explorée:
1) soit pour retirer les artefacts/le bruit crées par des méthodes d'application directe du filtre inverse [Schuler2013, Jin2017]
2) soit pour approximer l'application du filtre inverse [Xu2014, Schuler2016]
3) soit dans des approches de déconvolution itérative, ou les réseaux profonds appris sont utilisés comme "débruiteurs" ou pour la régularisation [Zhang2017, Bigdeli2017, Meinhardt 2017]
Bien que ces techniques donnent des résultats du niveau de l'état de l'art dans certains jeux de tests, elles n'ont pas été évaluées dans le contexte d'application astronomique en comparaison avec les méthodes parcimonieuses, en particulier dans le contexte de la mesure de forme des galaxies. Dans cette application, la qualité de la déconvolution est en effet mieux estimée en mesurant des erreurs d'ellipticité que sur des mesures d'énergie du résidu plus classiques.
L'objectif de ce stage est donc de comparer quelques approches d'apprentissage statistique profond et l'approche parcimonieuse développée dans le laboratoire, et de les améliorer dans un scenario Euclid. Pour cela, le stagiaire devra : 1) implémenter et améliorer des méthodes de deconvolution basées sur de l'apprentissage statistique dans le contexte d'Euclid 2) appliquer ces techniques à des simulations Euclid de galaxies 3) Les comparer à [Farrens2017]. Selon l'avancement, des architectures d'apprentissage profond mieux adaptées à la représentation des galaxies pourront également être explorées.
sujet et références : http://www.cosmostat.org/jobs/deeplearningdeconvol2017
La parcimonie et les représentations parcimonieuses sont au coeur de nombreuses méthodes de l'état de l'art pour la résolution de problèmes inverses mal posés tels ce problème de déconvolution. Ces techniques reposent sur la modélisation des signaux recherchés dans des représentations fixes (par exemple ondelettes, curvelettes etc.) ou des dictionnaires appris, adaptés a leur contenu géométrique de telle sorte que l'information soit condensée en un faible nombre d'atomes. Cette propriété permet de régulariser le problème, qui est ensuite résolu en utilisant des algorithmes d'optimisation convexe [Starck2015]. Une approche utilisant parcimonie et contrainte de faible rang a été ainsi récemment utilisée pour la déconvolution des galaxies dans le contexte de la mesure de leur forme [Farrens2017].
Dans cette quête de représentations adaptées à des signaux et des taches spécifiques, les méthodes d'apprentissage profond se sont révélées très compétitives, que ce soit pour la classification des images [Krizhevsky2012], leur segmentation [Yu16] ou leur débruitage
[Burger12]. Récemment, leur utilisation dans des problèmes de déconvolution a été explorée:
1) soit pour retirer les artefacts/le bruit crées par des méthodes d'application directe du filtre inverse [Schuler2013, Jin2017]
2) soit pour approximer l'application du filtre inverse [Xu2014, Schuler2016]
3) soit dans des approches de déconvolution itérative, ou les réseaux profonds appris sont utilisés comme "débruiteurs" ou pour la régularisation [Zhang2017, Bigdeli2017, Meinhardt 2017]
Bien que ces techniques donnent des résultats du niveau de l'état de l'art dans certains jeux de tests, elles n'ont pas été évaluées dans le contexte d'application astronomique en comparaison avec les méthodes parcimonieuses, en particulier dans le contexte de la mesure de forme des galaxies. Dans cette application, la qualité de la déconvolution est en effet mieux estimée en mesurant des erreurs d'ellipticité que sur des mesures d'énergie du résidu plus classiques.
L'objectif de ce stage est donc de comparer quelques approches d'apprentissage statistique profond et l'approche parcimonieuse développée dans le laboratoire, et de les améliorer dans un scenario Euclid. Pour cela, le stagiaire devra : 1) implémenter et améliorer des méthodes de deconvolution basées sur de l'apprentissage statistique dans le contexte d'Euclid 2) appliquer ces techniques à des simulations Euclid de galaxies 3) Les comparer à [Farrens2017]. Selon l'avancement, des architectures d'apprentissage profond mieux adaptées à la représentation des galaxies pourront également être explorées.
sujet et références : http://www.cosmostat.org/jobs/deeplearningdeconvol2017
In the context of the Euclid space mission (https://www.euclid-ec.org), the shape of about a billion of galaxies over a large fraction of the sky needs be estimated with a very high accuracy to derive cosmological information. One of the main challenge associated with this task is to correct the galaxy images for the effect of the spatially varying point spread function (PSF) of the instrument, modeled and/or estimated from the images of stars in the field. This critical step to recover as accurately as possible the shape of the galaxies requires advanced deconvolution methods.
Sparsity and sparse representations are at the heart of many state-of-the-art signal processing methods to solve inverse problems such as deconvolution. These techniques typically consists in modeling the sought after signals in either fixed representations (e.g. wavelets, curvelets, shearlets...) or learned representations adapted to their geometrical content so that information is compressed in a few elementary atoms. This property allows to regularize ill-posed inverse problems then solved by convex optimization algorithms [Starck2015]. In this framework, sparsity in a wavelet domain and low-rankness constraints have been recently employed for the deconvolution of galaxy images, in the context of galaxy shape measurement [Farrens2017].
In the quest for the best adapted representation for given signals and tasks, deep learning techniques have proved to be very competitive for image classification (e.g. [Krizhevsky2012], segmentation (e.g. [Yu16]) or denoising [Burger12]. Recently, several machine learning approaches have also been proposed for deconvolution:
1) brute force deconvolution followed by artifact removal and denoising using deep learning [Schuler2013, Jin2017]
2) deconvolution by integrating the approximation or estimation of the inverse filter in a deep neural network [Xu2014, Schuler2016]
3) iterative deconvolution where deep neural networks are used as "denoisers" or regularizers [Zhang2017, Bigdeli2017, Meinhardt 2017]
Although these deconvolution techniques using machine learning have shown promising results on several benchmark data sets, it is not yet clear how they compete with sparsity-based approaches in astronomical applications. For galaxy shape measurement in particular, the quality of deconvolution is best assessed on the recovered galaxy shape (by measuring ellipticity errors) rather than standard image quality errors such as PSNR.
The objective of this internship is therefore to compare several of these machine learning approaches to the sparse approaches that were developed in the laboratory, and improve them in an Euclid scenario. For that purpose, the intern would be in charge of 1) implementing and improving several deconvolution approaches based on machine learning in the context of Euclid, 2) applying these techniques on simulated Euclid-like galaxies, 3) comparing such approaches with what was proposed in [Farrens2017]. New deep learning architectures better suited to galaxy representation could also be investigated.
subject and references: http://www.cosmostat.org/jobs/deeplearningdeconvol2017
Sparsity and sparse representations are at the heart of many state-of-the-art signal processing methods to solve inverse problems such as deconvolution. These techniques typically consists in modeling the sought after signals in either fixed representations (e.g. wavelets, curvelets, shearlets...) or learned representations adapted to their geometrical content so that information is compressed in a few elementary atoms. This property allows to regularize ill-posed inverse problems then solved by convex optimization algorithms [Starck2015]. In this framework, sparsity in a wavelet domain and low-rankness constraints have been recently employed for the deconvolution of galaxy images, in the context of galaxy shape measurement [Farrens2017].
In the quest for the best adapted representation for given signals and tasks, deep learning techniques have proved to be very competitive for image classification (e.g. [Krizhevsky2012], segmentation (e.g. [Yu16]) or denoising [Burger12]. Recently, several machine learning approaches have also been proposed for deconvolution:
1) brute force deconvolution followed by artifact removal and denoising using deep learning [Schuler2013, Jin2017]
2) deconvolution by integrating the approximation or estimation of the inverse filter in a deep neural network [Xu2014, Schuler2016]
3) iterative deconvolution where deep neural networks are used as "denoisers" or regularizers [Zhang2017, Bigdeli2017, Meinhardt 2017]
Although these deconvolution techniques using machine learning have shown promising results on several benchmark data sets, it is not yet clear how they compete with sparsity-based approaches in astronomical applications. For galaxy shape measurement in particular, the quality of deconvolution is best assessed on the recovered galaxy shape (by measuring ellipticity errors) rather than standard image quality errors such as PSNR.
The objective of this internship is therefore to compare several of these machine learning approaches to the sparse approaches that were developed in the laboratory, and improve them in an Euclid scenario. For that purpose, the intern would be in charge of 1) implementing and improving several deconvolution approaches based on machine learning in the context of Euclid, 2) applying these techniques on simulated Euclid-like galaxies, 3) comparing such approaches with what was proposed in [Farrens2017]. New deep learning architectures better suited to galaxy representation could also be investigated.
subject and references: http://www.cosmostat.org/jobs/deeplearningdeconvol2017
Mots clés/Keywords
Problèmes inverses, Apprentissage profond, déconvolution, parcimonie
Inverse problems, machine learning, deep learning, deconvolution, sparsity
Compétences/Skills
Apprentissage statistique
Optimisation convexe
Programmation
Machine learning
Convex Optimisation
Programming
Logiciels
Python/C++
