Institut de recherche sur les lois fondamentales de l'Univers

L'objectif est de développer des méthodes de deep learning pour le démélange de spectres en spectrométrie gamma.

This internship aims at developing deep learning methods for spectral unmixing in gamm-ray spectrometry.

DESCRIPTION ET PROBLEMATIQUE
La spectrométrie gamma est une technique classique utilisée pour identifier et quantifier les radionucléides dans de nombreux domaines d'applications nucléaires (environnement, industrie, métrologie, trafic illicite, etc.).
Un spectre observé y est constitué de M canaux correspondant à des intervalles d'énergie déposés dans un détecteur sensible aux photons ? (scintillateur ou semi-conducteur). Le comptage dans chaque canal représente le nombre d'événements dans un intervalle d'énergie donné. Pour chaque radionucléide, il existe un spectre caractéristique appelé signature spectrale correspondant à la réponse du détecteur.
Soit X une matrice dont chaque colonne est la signature spectrale normalisée de chaque radionucléide. Le spectre observé suit la distribution de Poisson de Xa :

DESCRIPTION AND PROBLEM
Gamma-ray spectrometry is a classical technique used to identify and quantify radionuclides in a wide range of nuclear applications (environment, industry, metrology, illicit trafficking, etc.).
An observed spectrum is made up of M channels corresponding to energy intervals deposited in a photon-sensitive detector ? (scintillator or semiconductor). The count in each channel represents the number of events in a given energy interval. For each radionuclide, there is a characteristic spectrum called the spectral signature, corresponding to the detector response.
Let X be a matrix, each column of which is the normalized spectral signature of each radionuclide. The observed spectrum follows the Poisson distribution of Xa:

Traitement du signal, Machine learning, Physique nucléaire

Signal processing, Machine learning, Nuclear physics

Deep learning, spectral unmixing

Deep learning, spectral unmixing

Python, pytorch

Nous proposons de construire un antécédent fondé sur les données des aberrations optiques du télescope grâce à des techniques d'apprentissage profond.

We propose to build a data-driven prior of the telescope’s optical aberrations with the help of deep learning techniques.

L'effet de lentille gravitationnelle faible [1] est une sonde puissante de la structure à grande échelle de notre univers. Les cosmologistes utilisent l'effet de lentille faible pour étudier la nature de la matière noire et sa distribution spatiale. Les missions d'observation de l'effet de lentille faible nécessitent des mesures très précises de la forme des images de galaxies. La réponse instrumentale du télescope, ou fonction d'étalement du point (PSF), produit une déformation des images observées. Cette déformation peut être confondue avec les effets d'un faible effet de lentille sur les images de galaxies, ce qui constitue l'une des principales sources d'erreur systématique lors de la recherche sur les faibles effets de lentille. Par conséquent, l'estimation d'un modèle de PSF fiable et précis est cruciale pour le succès de toute mission de faible lentille. Le champ de la PSF peut être interprété comme un noyau convolutionnel qui affecte chacune de nos observations d'intérêt et qui varie spatialement, spectralement et temporellement. Le modèle de PSF doit être capable de gérer chacune de ces variationsNous utilisons des étoiles spécifiques considérées comme des sources ponctuelles dans le champ de vision pour contraindre notre modèle PSF. Ces étoiles, qui sont des objets non résolus, nous fournissent des échantillons dégradés du champ de la PSF. Les observations subissent différents types de dégradations en fonction des propriétés du télescope. Certaines de ces dégradations comprennent le sous-échantillonnage, une intégration sur la bande passante de l'instrument et le bruit additif. Nous construisons finalement le modèle de la PSF en utilisant ces observations dégradées et utilisons ensuite le modèle pour déduire la PSF à la position des galaxies. Cette procédure constitue le problème inverse mal posé de la modélisation de la PSF. Voir [2] pour un examen récent de la modélisation de la PSF. Il existe plusieurs sources de variations spatiales de la FSP. Certaines couvrent le plan focal, comme les aberrations optiques du télescope et de l'atmosphère, tandis que d'autres sont spécifiques à chaque puce CCD (Charge-Coupled Device). Le plan focal des caméras d'imagerie à grand champ actuelles comprend un grand nombre de CCD. La plupart des modèles PSF actuels sont construits indépendamment sur chaque CCD, ce qui est une solution simple pour prendre en compte les deux types de variations. Cependant, ce choix présente quelques inconvénients. Il limite le nombre d'étoiles disponibles pour contraindre le modèle, ce qui favorise les modèles les plus simples. Ensuite, ces modèles simples par morceaux définis dans chaque CCD ne peuvent pas modéliser correctement les variations spatiales couvrant l'ensemble du plan focal. En conséquence, des erreurs de modélisation du PSF apparaissent. Pour résoudre ces deux problèmes simultanément, un nouveau modèle de PSF, appelé MCCD [3], a été récemment proposé. Le MCCD peut modéliser l'ensemble du plan focal et prendre en compte les deux types de variations. Il peut inclure avec succès la géométrie de la caméra dans le modèle PSF. Le MCCD est basé sur un schéma de factorisation matricielle qui utilise différents outils mathématiques, tels que la régularisation éparse pour le débruitage de la PSF et la théorie des graphes pour traiter les variations spatiales localisées, entre autres. L'algorithme d'apprentissage combine les concepts précédents avec la descente de coordonnées par blocs, des méthodes d'optimisation convexe efficaces et des algorithmes proximaux. L'une des limitations les plus importantes des modèles de PSF au sol est que l'atmosphère stochastique et changeante limite le nombre d'étoiles disponibles pour contraindre le modèle. Par conséquent, les modèles de PSF sont construits indépendamment pour chaque exposition de la caméra. Cependant, les différentes publications de données de l'étude sont effectuées par lots au fur et à mesure que la couverture du ciel augmente. Une fois qu'une bonne partie de la zone d'étude a été imagée, on peut calculer l'ellipticité moyenne des étoiles observées en fonction de leur position sur le plan focal. La contribution de l'ellipticité atmosphérique aux observations d'étoiles a une moyenne nulle. Par conséquent, nous pouvons obtenir une caractérisation fine de la contribution à l'ellipticité du système optique du télescope. Au moment de la rédaction du présent document, aucun modèle de PSF n'exploite actuellement cette information. Une seule exposition ne permet pas de récupérer les variations à haute fréquence en raison du manque d'informations contraignantes sur les étoiles disponibles. Nous proposons de construire un a priori sur les aberrations optiques du télescope à l'aide de techniques d'apprentissage profond. L'a priori sera incorporé dans le modèle PSF en exploitant les récentes approches "plug-and-play" [4]. Nous avons créé un ensemble de simulations réalistes basées sur les mesures de 107 étoiles du télescope Canada-France-Hawaï (CFHT). Nous prévoyons d'utiliser ces simulations pour entraîner des débruiteurs basés sur l'apprentissage profond. Ces réseaux peuvent ensuite être inclus en tant qu'opérateurs proximaux dans le cadre d'optimisation du modèle PSF du MCCD.
1
[3]. La manière dont les débruiteurs sont inclus suit l'approche plug-and-play, qui évite l'utilisation dangereuse de la boîte noire des réseaux neuronaux profonds. Le cadre fournit un environnement contrôlé pour exploiter la puissance des débruiteurs basés sur l'apprentissage profond.
Une fois que le nouveau modèle a été validé par des simulations, l'objectif est de démontrer sa performance avec des observations réelles provenant de l'étude sol-espace Canada-France Imaging Survey (CFIS) au TCFH. Pour ce faire, nous utiliserons le pipeline de mesure de forme, ShapePipe [5], qui intègre déjà le modèle PSF du MCCD.

[1] R. Mandelbaum. “Weak Lensing for Precision Cosmology”. In: Annual Review of Astronomy and Astro- physics 56 (2018), pp. 393–433. doi: 10.1146/annurev-astro-081817-051928. arXiv: 1710.03235.
[2] T. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Point spread function modelling for astronomical
telescopes: a review focused on weak gravitational lensing studies”. In: arXiv e-prints, arXiv:2306.07996
(June 2023), arXiv:2306.07996. doi: 10.48550/arXiv.2306.07996. arXiv: 2306.07996 [astro-ph.IM].
[3] Liaudat, T., Bonnin, J., Starck, J.-L., Schmitz, M. A., Guinot, A., Kilbinger, M., and Gwyn, S. D. J. “Multi-CCD modelling of the point spread function”. In: A&A 646 (2021), A27. doi: 10.1051/0004-
6361/202039584.
[4] U. S. Kamilov, C. A. Bouman, G. T. Buzzard, and B. Wohlberg. “Plug-and-Play Methods for Integrating
Physical and Learned Models in Computational Imaging: Theory, algorithms, and applications”. In: IEEE Signal Processing Magazine 40.1 (Jan. 2023), pp. 85–97. doi: 10.1109/MSP.2022.3199595. arXiv: 2203. 17061 [eess.IV].
[5] Farrens, S., Guinot, A., Kilbinger, M., Liaudat, T., Baumont, L., Jimenez, X., Peel, A., Pujol, A., Schmitz, M., Starck, J.-L., and Vitorelli, A. Z. “ShapePipe: A modular weak-lensing processing and analysis pipeline”. In: A&A 664 (2022), A141. doi: 10.1051/0004-6361/202243970.

Context. Weak gravitational lensing [1] is a powerful probe of the Large Scale Structure of our Universe. Cosmologists use weak lensing to study the nature of dark matter and its spatial distribution. Weak lensing missions require highly accurate shape measurements of galaxy images. The telescope’s instrumental response, or point spread function (PSF), produces a deformation of the observed images. This deformation can be mistaken for the effects of weak lensing in the galaxy images, thus being one of the primary sources of systematic error when doing weak lensing science. Therefore, estimating a reliable and accurate PSF model is crucial for the success of any weak lensing mission. The PSF field can be interpreted as a convolutional kernel that affects each of our observations of interest that varies spatially, spectrally, and temporally. The PSF model needs to be able to cope with each of these variations. We use specific stars considered as point sources in the field-of-view to constrain our PSF model. These stars, which are unresolved objects, provide us with degraded samples of the PSF field. The observations go through different types of degradations depending on the properties of the telescope. Some of these degradations include undersampling, an integration over the instrument’s passband, and additive noise. We finally build the PSF model using these degraded observations and then use the model to infer the PSF at the position of galaxies. This procedure constitutes the ill-posed inverse problem of PSF modelling. See [2] for a recent review on PSF modelling.
There are several sources of spatial variations of the PSF. Some cover the focal plane like the optical aberrations of the telescope and the atmosphere, while others are specific for each Charge-Coupled Device (CCD) chip. The focal plane of current wide-field imaging cameras comprises a large array of CCDs. Most of the current PSF models are built independently on each CCD, which is a simple solution to account for both types of variations. However, this choice has some drawbacks. It limits the number of available stars to constrain the model, thus favouring simpler models. Then, these simple piecewise models defined in each CCD cannot correctly model spatial variations covering the entire focal plane. As a consequence, PSF modelling errors arise. To tackle both problems simultaneously, a new PSF model coined MCCD [3] was recently proposed. MCCD can model the full focal plane and that considers both types of variations. It can successfully include the camera geometry in the PSF model. MCCD is based on a matrix factorisation scheme that uses different mathematical tools, such as sparse regularisation for PSF denoising and graph theory to handle localised spatial variations, among others. The training algorithm combines the previous concepts with block coordinate descent, efficient convex optimization methods and proximal algorithms.
Goals. One of the most significant limitations of ground-based PSF models is that the fast-changing and stochastic atmosphere limits the number of stars available to constrain the model. As a consequence, PSF models are built independently for each camera exposure. However, the different survey data releases are done in batches as the sky coverage increases. Once a good part of the survey area has been imaged, one can compute the average ellipticity of the observed stars as a function of their position on the focal plane. The atmospheric ellipticity contribution to the star observations has a zero mean. Therefore, we can obtain a fine- sampled characterisation of the ellipticity contribution of the telescope’s optical system. At the time of writing, no PSF model is currently exploiting this information. A single exposure does not allow for recovering the high-frequency variations due to the lack of constraining information on the available stars.
We propose to build a data-driven prior of the telescope’s optical aberrations with the help of deep learning techniques. The prior will be incorporated into the PSF model by exploiting recent plug-and-play approaches [4]. We have created a set of realistic simulations based on the measurements of 107 stars from the Canada- France-Hawaii Telescope (CFHT). We plan to use the simulations to train deep learning-based denoisers. These networks can then be included as proximal operators in the optimisation framework of the MCCD PSF model
1
[3]. The way the denoisers are included follows the plug-and-play approach, which avoids the dangerous black- box usage of deep neural networks. The framework provides a controlled environment to exploit the power of the deep learning-based denoisers.
Once the new model has been validated with simulations, the goal is to demonstrate its performance with real observations from the ground-space survey Canada-France Imaging Survey (CFIS) at the CFHT. To accomplish this task we will make use of the shape measurement pipeline, ShapePipe [5], which already incorporates the MCCD PSF model.
The candidate
The candidate must be pursuing a Master 2 degree (or equivalent) and should have a background in signal/image processing. The candidate should be comfortable with the Python programming language, and ideally with a deep learning framework (e.g. TensorFlow, PyTorch, JAX) and open-source and collaborative development tools (e.g. GitHub). Knowledge of machine learning and experience processing astronomical images is not required but is beneficial.
The candidate will acquire expertise in sparse image processing, convex optimisation techniques, machine learn- ing and deep learning. In addition, the intern will learn to work in a collaborative development environment and contribute to existing software packages. The knowledge acquired during the internship applies to a wide range of applications in various fields, e.g., biomedical imaging, and astrophysics.
Contact
The internship will take place in the LILAS lab (CEA Saclay), which is working on signal (and image) processing and machine learning applied to physics applications.

[1] R. Mandelbaum. “Weak Lensing for Precision Cosmology”. In: Annual Review of Astronomy and Astro- physics 56 (2018), pp. 393–433. doi: 10.1146/annurev-astro-081817-051928. arXiv: 1710.03235.
[2] T. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Point spread function modelling for astronomical
telescopes: a review focused on weak gravitational lensing studies”. In: arXiv e-prints, arXiv:2306.07996
(June 2023), arXiv:2306.07996. doi: 10.48550/arXiv.2306.07996. arXiv: 2306.07996 [astro-ph.IM].
[3] Liaudat, T., Bonnin, J., Starck, J.-L., Schmitz, M. A., Guinot, A., Kilbinger, M., and Gwyn, S. D. J. “Multi-CCD modelling of the point spread function”. In: A&A 646 (2021), A27. doi: 10.1051/0004-
6361/202039584.
[4] U. S. Kamilov, C. A. Bouman, G. T. Buzzard, and B. Wohlberg. “Plug-and-Play Methods for Integrating
Physical and Learned Models in Computational Imaging: Theory, algorithms, and applications”. In: IEEE Signal Processing Magazine 40.1 (Jan. 2023), pp. 85–97. doi: 10.1109/MSP.2022.3199595. arXiv: 2203. 17061 [eess.IV].
[5] Farrens, S., Guinot, A., Kilbinger, M., Liaudat, T., Baumont, L., Jimenez, X., Peel, A., Pujol, A., Schmitz, M., Starck, J.-L., and Vitorelli, A. Z. “ShapePipe: A modular weak-lensing processing and analysis pipeline”. In: A&A 664 (2022), A141. doi: 10.1051/0004-6361/202243970.

Astrophysique, machine learning

Astrophysics, Machine learning

Deep learning, plug and play methods

Deep learning, plug and play methods

Utilisation de modèle différentiable par réseau de neurone pour la modélisation de réponses instrumentales

Using differentiable neural network models to model instrumental response

Contexte. La lentille gravitationnelle faible [1] est un outil puissant pour étudier la structure à grande échelle de notre univers. Les cosmologistes utilisent la lentille gravitationnelle faible pour étudier la nature de la matière noire et sa distribution spatiale. Les missions de lentille gravitationnelle faible nécessitent des mesures très précises de la forme des images de galaxies. Le modèle de fonction de transfert du télescope, ou fonction de diffusion ponctuelle (PSF), produit une déformation des images observées. Cette déformation peut être confondue avec les effets de la lentille gravitationnelle faible dans les images de galaxies, ce qui en fait l'une des principales sources d'erreur systématique lors de l'étude de la lentille gravitationnelle faible. Par conséquent, estimer un modèle PSF fiable et précis est crucial pour le succès de toute mission de lentille gravitationnelle faible. Le champ PSF peut être interprété comme un noyau convolutif qui affecte chacune de nos observations d'intérêt et varie spatialement, spectralement et temporellement. Le modèle PSF doit être capable de gérer chacune de ces variations. Nous utilisons des étoiles spécifiques considérées comme des sources ponctuelles dans le champ de vue pour contraindre notre modèle PSF. Ces étoiles, qui sont des objets non résolus, nous fournissent des échantillons dégradés du champ PSF. Les observations subissent différents types de dégradations en fonction des propriétés du télescope. Certaines de ces dégradations incluent l'échantillonnage sous-optimal, une intégration sur la bande passante de l'instrument et un bruit additif. Nous construisons finalement le modèle PSF en utilisant ces observations dégradées, puis utilisons le modèle pour inférer le PSF à la position des galaxies. Cette procédure constitue le problème inverse mal posé de modélisation PSF. Voir [2] pour une revue récente de la modélisation PSF.
La mission Euclid récemment lancée représente l'un des défis les plus complexes pour la modélisation PSF. En raison de la bande passante très large de l'imagerie visible d'Euclid (VIS) allant de 550 nm à 900 nm, les modèles PSF doivent capturer non seulement les variations spatiales du champ PSF, mais aussi ses variations chromatiques. Chaque observation d'étoile est intégrée avec le spectre énergétique de l'objet (SED) sur tout le passband VIS d'Euclid. Comme les observations sont sous-échantillonnées, une étape de super-résolution est également requise. Un modèle récent appelé WaveDiff [3] a été proposé pour aborder le problème de modélisation PSF pour Euclid et est basé sur un modèle optique différentiable. WaveDiff a atteint des performances de pointe et est actuellement en cours d'implémentation dans les pipelines de traitement de données d'Euclid.
Objectifs. Les champs neuronaux récemment introduits [4] ont montré des performances impressionnantes dans les tâches de vision par ordinateur. Les champs neuronaux sont des réseaux neuronaux coordonnés qui paramètrent les propriétés physiques de scènes ou d'objets dans l'espace (et le temps). Ces réseaux ont acquis une visibilité particulière en abordant le problème de la reconstruction de scène 3D [5] à partir de plusieurs images 2D de la scène.
Si nous considérons les coordonnées planes focales (x, y) comme des directions de vue, le problème de modélisation PSF peut être considéré comme une reconstruction de scène à partir d'un ensemble fixe d'images 2D (les étoiles observées). L'un des objectifs de ce stage est d'adapter ces idées aux travaux récents sur les champs neuronaux et de les combiner avec le modèle WaveDiff. Le prochain objectif est de construire un nouveau modèle PSF qui nous permettrait de mieux capturer les variations spatiales du champ PSF. Un dernier objectif est d'inclure des variations spectrales spurielles dans le champ neuronal et de le conditionner sur des simulations existantes.

Context. Weak gravitational lensing [1] is a powerful probe of the Large Scale Structure of our Universe. Cosmologists use weak lensing to study the nature of dark matter and its spatial distribution. Weak lensing missions require highly accurate shape measurements of galaxy images. The telescope’s instrumental response, or point spread function (PSF), produces a deformation of the observed images. This deformation can be mistaken for the effects of weak lensing in the galaxy images, thus being one of the primary sources of systematic error when doing weak lensing science. Therefore, estimating a reliable and accurate PSF model is crucial for the success of any weak lensing mission. The PSF field can be interpreted as a convolutional kernel that affects each of our observations of interest that varies spatially, spectrally, and temporally. The PSF model needs to be able to cope with each of these variations. We use specific stars considered as point sources in the field-of-view to constrain our PSF model. These stars, which are unresolved objects, provide us with degraded samples of the PSF field. The observations go through different types of degradations depending on the properties of the telescope. Some of these degradations include undersampling, an integration over the instrument’s passband, and additive noise. We finally build the PSF model using these degraded observations and then use the model to infer the PSF at the position of galaxies. This procedure constitutes the ill-posed inverse problem of PSF modelling. See [2] for a recent review on PSF modelling.
The recently launched Euclid survey represents one of the most complex challenges for PSF modelling. Because of the very broad passband of Euclid’s visible imager (VIS) ranging from 550nm to 900nm, PSF models need to capture not only the PSF field spatial variations but also its chromatic variations. Each star observation is inte- grated with the object’s spectral energy distribution (SED) over the whole VIS passband. As the observations are undersampled, a super-resolution step is also required. A recent model coined WaveDiff [3] was proposed to tackle the PSF modelling problem for Euclid and is based on a differentiable optical model. WaveDiff achieved state-of-the-art performance and is currently being implemented into Euclid’s data processing pipelines.
Goals. The recently introduced neural fields [4] have shown impressive performance in computer vision tasks. Neural fields are coordinate-based neural networks that parametrise physical properties of scenes or objects across space (and time). These networks gained particular visibility by tackling the problem of 3D scene reconstruction [5] from several 2D images of the scene.
If we consider the (x,y) focal plane coordinates as viewing directions, the PSF modelling problem can be considered as a scene reconstruction from a fixed set of 2D images (the observed stars). One goal of the internship is to adapt these ideas in recent neural fields works and combine them with the WaveDiff model. The next goal is to build a new PSF model that would allow us to better capture the spatial variations of the PSF field. One last goal is to include spurious spectral variations in the neural field and condition it on existing simulations.
The candidate
The candidate must be pursuing a Master 2 degree (or equivalent) and should have a background in signal/image processing. The candidate should be comfortable with the Python programming language, and ideally with a deep learning framework (e.g. TensorFlow, PyTorch, JAX) and open-source and collaborative development tools (e.g. GitHub). Knowledge of machine learning, Fourier optics and experience processing astronomical images is not required but is beneficial.
The candidate will acquire expertise in astronomical image processing, Fourier optics, machine learning and deep learning. In addition, the intern will learn to work in a collaborative development environment and contribute to existing software packages. The knowledge acquired during the internship applies to a wide range of applications in various fields, e.g., biomedical imaging, and astrophysics.

Contact
The internship will take place in the LILAS lab (CEA Saclay), which is working on signal (and image) processing and machine learning applied to physics applications.

References
[1] R. Mandelbaum. “Weak Lensing for Precision Cosmology”. In: Annual Review of Astronomy and Astro- physics 56 (2018), pp. 393–433. doi: 10.1146/annurev-astro-081817-051928. arXiv: 1710.03235.
[2] T. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Point spread function modelling for astronomical
telescopes: a review focused on weak gravitational lensing studies”. In: arXiv e-prints, arXiv:2306.07996
(June 2023), arXiv:2306.07996. doi: 10.48550/arXiv.2306.07996. arXiv: 2306.07996 [astro-ph.IM].
[3] T. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Rethinking data-driven point spread function modeling with a differentiable optical model”. In: Inverse Problems 39.3 (Feb. 2023), p. 035008. doi:
10.1088/1361-6420/acb664.
[4] Y. Xie, T. Takikawa, S. Saito, O. Litany, S. Yan, N. Khan, F. Tombari, J. Tompkin, V. Sitzmann, and
S. Sridhar. “Neural Fields in Visual Computing and Beyond”. In: arXiv e-prints, arXiv:2111.11426 (Nov.
2021), arXiv:2111.11426. doi: 10.48550/arXiv.2111.11426. arXiv: 2111.11426 [cs.CV].
[5] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”. In: arXiv e-prints, arXiv:2003.08934 (Mar. 2020),
arXiv:2003.08934. doi: 10.48550/arXiv.2003.08934. arXiv: 2003.08934 [cs.CV].
2

Astrophysique, machine learning

Astrophysics, Machine learning

Machine learning

Machine learning