Les stages
Quantification de l'incertitude pour les algorithmes non déroulés avec application à l'imagerie en astrophysique
Quantifying uncertainty for unrolled algorithms with application to imaging in astrophysics
Candidature avant le
17/04/2024
Durée
6 mois
Poursuite possible en thèse
oui
Contact
BOBIN JÉRÔME
+33 1 69 08 75 91
Résumé/Summary
Quantification d'incertitude pour les méthodes de restauration de données utilisant les approches de Deep Unrolling.
Uncertainty quantification for data analysis methods based on deep unrolling.
Sujet détaillé/Full description
Les problèmes de démélange aveugle et semi-aveugle [1] sont des problèmes inverses classiques dans un très large éventail de domaines scientifiques allant du traitement du son [2], du traitement des signaux médicaux à la télédétection [3] ou à l'astrophysique [9]. Dans ces domaines, le développement rapide de capteurs multispectraux à haute résolution et à haute sensibilité nécessite la mise au point d'outils d'analyse spécifiques. La figure 1 montre un exemple particulièrement représentatif d'un reste de supernovae observé dans plusieurs bandes de rayons X. Pour ce type de données, les observations peuvent être modélisées comme la combinaison linéaire ou non linéaire de diverses composantes physiques élémentaires, qui doivent être récupérées par l'astrophysicien.
Pour estimer ces composantes physiques élémentaires, il faut s'attaquer à un problème de démélange non supervisé (lorsqu'aucune information n'est disponible) ou semi-supervisé (disponibilité d'informations partielles). Le même problème mathématique se pose en télédétection ou en observation de la terre pour l'extraction de composants élémentaires tels que l'eau, la végétation, les bâtiments, etc.
Bien que ces problèmes aient déjà été largement étudiés au cours des dernières décennies, l'utilisation des algorithmes correspondants à des fins scientifiques, telles que l'astrophysique, nécessite des solutions interprétables. En particulier, il est de la plus haute importance de quantifier les incertitudes des estimations des algorithmes de séparation des sources. Jusqu'à présent, très peu de travaux ont été réalisés dans cette direction avec des algorithmes basés sur l'apprentissage profond, qui dépendent de manière non linéaire de la donnée d'entrée.
Pour surmonter ces limitations, l'objectif de ce stage est d'étudier les méthodes de quantification de l'incertitude pour les algorithmes de démixage basés sur des outils d'apprentissage automatique (profond) dédiés.
Plusieurs voies de recherche sont à considérer. Aujourd'hui, les approches prometteuses basées sur l'apprentissage automatique utilisent des modèles de déroulement d'algorithme introduits dans un cadre général par Gregor&LeCun [6]. En bref, le cœur de cette classe de résolveurs de problèmes inverses est un réseau neuronal récurrent qui imite la structure des résolveurs itératifs standard (par exemple, les méthodes de minimisation du gradient). Leur avantage est que la procédure d'apprentissage peut capturer des informations dépendant des données, ce qui la rend plus adaptable aux données à traiter. En outre, seul un nombre limité de paramètres algorithmiques est appris au cours du processus d'apprentissage, ce qui fait que les solveurs finaux ont un faible coût de calcul [8]. Dans le cadre du démélange, nous avons maintenant étudié avec succès des algorithmes de démélange déroulés pour des algorithmes renforçant la parcimonie ou, plus récemment, basés sur des antériorités construites à partir de modèles génératifs particuliers. Cependant, aucune de ces approches ne permet de quantifier l'incertitude de la solution calculée. A cette fin, le travail de stage explorera le développement d'architectures d'algorithmes de déroulage stochastique dédiés. Différentes voies de recherche seront explorées, notamment la conception de diverses architectures, les pertes d'entraînement adaptées au calcul des incertitudes.
D'autres voies de recherche pourraient être étudiées. Les méthodes développées seront évaluées de manière approfondie, à la fois sur des ensembles de données simulées et réalistes (par exemple en télédétection, en physique nucléaire ou en astrophysique).
Le candidat doit poursuivre un Master 2 (ou équivalent) et avoir une bonne connaissance du traitement du signal/de l'image et de l'apprentissage automatique.
[1] Comon P and Jutten C 2010 Handbook of Blind Source Separation : Independent component analysis and applications
[2] Fevotte C, Bertin N and Durrieu J L 2009 Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis. Neural computation 21 793–830
[3] Dobigeon N et Al. 2014 Nonlinear unmixing of hyperspectral images : Models and algorithms. IEEE Signal Processing Magazine
[5] Kervazo C et Al. 2020 Use of PALM for l1 sparse matrix factorization : Difficulty and rationalization of a two-step approach. Digital Signal Processing
[6] Gregor K and LeCun Y 2010 Learning fast approximations of sparse coding Proceedings of the 27th International Conference on International Conference on Machine Learning 399–406.
[7] Monga V, Li Y and Eldar Y C 2019 Algorithm Unrolling : Interpretable, Efficient Deep Learning for Signal and Image Processing. arXiv preprint arXiv :1912.10557.
[8] Ablin P, Moreau T, Massias M and Gramfort A 2019 Learning step sizes for unfolded sparse coding. Advances in Neural Information Processing Systems 13100–13110.
[9] Bobin J, Acero F, and Picquenot A 2019 Metric Learning for Semi-Supervised Sparse Source Separation with Spectral Examples. 2019 IEEE 8th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP)
[10] Fahes M, Kervazo C, Bobin J and Tupin F, Unrolling PALM for sparse semi-blind source separation, 10th International Conference on Learning Representations, ICLR 2022.
Pour estimer ces composantes physiques élémentaires, il faut s'attaquer à un problème de démélange non supervisé (lorsqu'aucune information n'est disponible) ou semi-supervisé (disponibilité d'informations partielles). Le même problème mathématique se pose en télédétection ou en observation de la terre pour l'extraction de composants élémentaires tels que l'eau, la végétation, les bâtiments, etc.
Bien que ces problèmes aient déjà été largement étudiés au cours des dernières décennies, l'utilisation des algorithmes correspondants à des fins scientifiques, telles que l'astrophysique, nécessite des solutions interprétables. En particulier, il est de la plus haute importance de quantifier les incertitudes des estimations des algorithmes de séparation des sources. Jusqu'à présent, très peu de travaux ont été réalisés dans cette direction avec des algorithmes basés sur l'apprentissage profond, qui dépendent de manière non linéaire de la donnée d'entrée.
Pour surmonter ces limitations, l'objectif de ce stage est d'étudier les méthodes de quantification de l'incertitude pour les algorithmes de démixage basés sur des outils d'apprentissage automatique (profond) dédiés.
Plusieurs voies de recherche sont à considérer. Aujourd'hui, les approches prometteuses basées sur l'apprentissage automatique utilisent des modèles de déroulement d'algorithme introduits dans un cadre général par Gregor&LeCun [6]. En bref, le cœur de cette classe de résolveurs de problèmes inverses est un réseau neuronal récurrent qui imite la structure des résolveurs itératifs standard (par exemple, les méthodes de minimisation du gradient). Leur avantage est que la procédure d'apprentissage peut capturer des informations dépendant des données, ce qui la rend plus adaptable aux données à traiter. En outre, seul un nombre limité de paramètres algorithmiques est appris au cours du processus d'apprentissage, ce qui fait que les solveurs finaux ont un faible coût de calcul [8]. Dans le cadre du démélange, nous avons maintenant étudié avec succès des algorithmes de démélange déroulés pour des algorithmes renforçant la parcimonie ou, plus récemment, basés sur des antériorités construites à partir de modèles génératifs particuliers. Cependant, aucune de ces approches ne permet de quantifier l'incertitude de la solution calculée. A cette fin, le travail de stage explorera le développement d'architectures d'algorithmes de déroulage stochastique dédiés. Différentes voies de recherche seront explorées, notamment la conception de diverses architectures, les pertes d'entraînement adaptées au calcul des incertitudes.
D'autres voies de recherche pourraient être étudiées. Les méthodes développées seront évaluées de manière approfondie, à la fois sur des ensembles de données simulées et réalistes (par exemple en télédétection, en physique nucléaire ou en astrophysique).
Le candidat doit poursuivre un Master 2 (ou équivalent) et avoir une bonne connaissance du traitement du signal/de l'image et de l'apprentissage automatique.
[1] Comon P and Jutten C 2010 Handbook of Blind Source Separation : Independent component analysis and applications
[2] Fevotte C, Bertin N and Durrieu J L 2009 Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis. Neural computation 21 793–830
[3] Dobigeon N et Al. 2014 Nonlinear unmixing of hyperspectral images : Models and algorithms. IEEE Signal Processing Magazine
[5] Kervazo C et Al. 2020 Use of PALM for l1 sparse matrix factorization : Difficulty and rationalization of a two-step approach. Digital Signal Processing
[6] Gregor K and LeCun Y 2010 Learning fast approximations of sparse coding Proceedings of the 27th International Conference on International Conference on Machine Learning 399–406.
[7] Monga V, Li Y and Eldar Y C 2019 Algorithm Unrolling : Interpretable, Efficient Deep Learning for Signal and Image Processing. arXiv preprint arXiv :1912.10557.
[8] Ablin P, Moreau T, Massias M and Gramfort A 2019 Learning step sizes for unfolded sparse coding. Advances in Neural Information Processing Systems 13100–13110.
[9] Bobin J, Acero F, and Picquenot A 2019 Metric Learning for Semi-Supervised Sparse Source Separation with Spectral Examples. 2019 IEEE 8th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP)
[10] Fahes M, Kervazo C, Bobin J and Tupin F, Unrolling PALM for sparse semi-blind source separation, 10th International Conference on Learning Representations, ICLR 2022.
Blind and semi-blind unmixing problems [1] are classical inverse problems in a very wide range of scientific domains from sound processing [2], medical signal processing to remote sensing [3] or astrophysics [9]. In these domains, the fast development of high resolution/high sensitivity multispectral sensors mandates the development of dedicated analysis tools. Figure 1 shows a particularly representative example of a supernovae remnant observed in multiple X-ray bands. For such type of data, the observations can be modelled as the linear or non-linear combination of various elementary physical components, which are to be retrieved by the astrophysicist.
To estimate these elementary physical components, one needs to tackle an unsupervised (when no information is available) or semi-supervised (availability of partial information) unmixing problem. The exact same mathematical problem arises in remote sensing or earth observation for the extraction of elementary components such as water, vegetation, buildings, etc.
Although such problems have already been extensively studied over the last decades, the use of the corresponding algorithms for scientific purposes, such as astrophysics, require interpretable solutions. In particular, it is of uttermost importance to quantify the uncertainties of the estimates of source separation algorithms. So far, very few works have been done in this direction with deep-learning-based algorithms, which depend non-linearly on the input measurement.
To overcome these limitations, the goal of this internship is to investigate uncertainty quantification methods for unmixing algorithms based on dedicated machine (deep) learning tools.
Several research pathways are to be considered. Nowadays, promising ML-based approaches make use of algorithm unrolling models introduced in a general setting by Gregor&LeCun [6]. In a nutshell, the core of this class of inverse problems solvers is a recurrent neural network that mimics the structure of standard iterative solvers (e.g. gradient minimisation methods). Their advantage is that the learning procedure can capture data-dependent information making it more adaptive to the data to be handled. Furthermore, only a limited number of algorithmic parameters are learnt during the training process, making the final solvers having a low computational cost [8]. In the scope of unmixing, we now have investigated with success unrolled unmixing algorithms for sparsity-enforcing algorithms or more recently based on prior built from particular generative models. However, none of these approaches allow for quantifying the uncertainty of the computed solution. To that end, the internship work will explore the development of dedicated stochastic unrolling algorithm architectures. Different research path will be explored, including the design of various architectures, training losses that are adapted to derive uncertainties.
Other research paths might be investigated. The developed methods will be thoroughly evaluated, both on simulated and realistic data sets (e.g. in remote sensing, nuclear physics or astrophysics data sets).
The candidate should be pursuing a Master 2 degree (or equivalent) and have a good knowledge in signal/image processing and machine learning.
[1] Comon P and Jutten C 2010 Handbook of Blind Source Separation : Independent component analysis and applications
[2] Fevotte C, Bertin N and Durrieu J L 2009 Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis. Neural computation 21 793–830
[3] Dobigeon N et Al. 2014 Nonlinear unmixing of hyperspectral images : Models and algorithms. IEEE Signal Processing Magazine
[5] Kervazo C et Al. 2020 Use of PALM for l1 sparse matrix factorization : Difficulty and rationalization of a two-step approach. Digital Signal Processing
[6] Gregor K and LeCun Y 2010 Learning fast approximations of sparse coding Proceedings of the 27th International Conference on International Conference on Machine Learning 399–406.
[7] Monga V, Li Y and Eldar Y C 2019 Algorithm Unrolling : Interpretable, Efficient Deep Learning for Signal and Image Processing. arXiv preprint arXiv :1912.10557.
[8] Ablin P, Moreau T, Massias M and Gramfort A 2019 Learning step sizes for unfolded sparse coding. Advances in Neural Information Processing Systems 13100–13110.
[9] Bobin J, Acero F, and Picquenot A 2019 Metric Learning for Semi-Supervised Sparse Source Separation with Spectral Examples. 2019 IEEE 8th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP)
[10] Fahes M, Kervazo C, Bobin J and Tupin F, Unrolling PALM for sparse semi-blind source separation, 10th International Conference on Learning Representations, ICLR 2022.
To estimate these elementary physical components, one needs to tackle an unsupervised (when no information is available) or semi-supervised (availability of partial information) unmixing problem. The exact same mathematical problem arises in remote sensing or earth observation for the extraction of elementary components such as water, vegetation, buildings, etc.
Although such problems have already been extensively studied over the last decades, the use of the corresponding algorithms for scientific purposes, such as astrophysics, require interpretable solutions. In particular, it is of uttermost importance to quantify the uncertainties of the estimates of source separation algorithms. So far, very few works have been done in this direction with deep-learning-based algorithms, which depend non-linearly on the input measurement.
To overcome these limitations, the goal of this internship is to investigate uncertainty quantification methods for unmixing algorithms based on dedicated machine (deep) learning tools.
Several research pathways are to be considered. Nowadays, promising ML-based approaches make use of algorithm unrolling models introduced in a general setting by Gregor&LeCun [6]. In a nutshell, the core of this class of inverse problems solvers is a recurrent neural network that mimics the structure of standard iterative solvers (e.g. gradient minimisation methods). Their advantage is that the learning procedure can capture data-dependent information making it more adaptive to the data to be handled. Furthermore, only a limited number of algorithmic parameters are learnt during the training process, making the final solvers having a low computational cost [8]. In the scope of unmixing, we now have investigated with success unrolled unmixing algorithms for sparsity-enforcing algorithms or more recently based on prior built from particular generative models. However, none of these approaches allow for quantifying the uncertainty of the computed solution. To that end, the internship work will explore the development of dedicated stochastic unrolling algorithm architectures. Different research path will be explored, including the design of various architectures, training losses that are adapted to derive uncertainties.
Other research paths might be investigated. The developed methods will be thoroughly evaluated, both on simulated and realistic data sets (e.g. in remote sensing, nuclear physics or astrophysics data sets).
The candidate should be pursuing a Master 2 degree (or equivalent) and have a good knowledge in signal/image processing and machine learning.
[1] Comon P and Jutten C 2010 Handbook of Blind Source Separation : Independent component analysis and applications
[2] Fevotte C, Bertin N and Durrieu J L 2009 Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis. Neural computation 21 793–830
[3] Dobigeon N et Al. 2014 Nonlinear unmixing of hyperspectral images : Models and algorithms. IEEE Signal Processing Magazine
[5] Kervazo C et Al. 2020 Use of PALM for l1 sparse matrix factorization : Difficulty and rationalization of a two-step approach. Digital Signal Processing
[6] Gregor K and LeCun Y 2010 Learning fast approximations of sparse coding Proceedings of the 27th International Conference on International Conference on Machine Learning 399–406.
[7] Monga V, Li Y and Eldar Y C 2019 Algorithm Unrolling : Interpretable, Efficient Deep Learning for Signal and Image Processing. arXiv preprint arXiv :1912.10557.
[8] Ablin P, Moreau T, Massias M and Gramfort A 2019 Learning step sizes for unfolded sparse coding. Advances in Neural Information Processing Systems 13100–13110.
[9] Bobin J, Acero F, and Picquenot A 2019 Metric Learning for Semi-Supervised Sparse Source Separation with Spectral Examples. 2019 IEEE 8th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP)
[10] Fahes M, Kervazo C, Bobin J and Tupin F, Unrolling PALM for sparse semi-blind source separation, 10th International Conference on Learning Representations, ICLR 2022.
Mots clés/Keywords
Traitement du signal, Machine learning, Astrophysique
Signal processing/Machine learning/Astrophysics
Compétences/Skills
Machine learning, deep unrolling
Machine learning, deep unrolling
Logiciels
Python, Pytorch
