Institut de recherche sur les lois fondamentales de l'Univers

Utilisation de modèle différentiable par réseau de neurone pour la modélisation de réponses instrumentales

Using differentiable neural network models to model instrumental response

Contexte. La lentille gravitationnelle faible [1] est un outil puissant pour étudier la structure à grande échelle de notre univers. Les cosmologistes utilisent la lentille gravitationnelle faible pour étudier la nature de la matière noire et sa distribution spatiale. Les missions de lentille gravitationnelle faible nécessitent des mesures très précises de la forme des images de galaxies. Le modèle de fonction de transfert du télescope, ou fonction de diffusion ponctuelle (PSF), produit une déformation des images observées. Cette déformation peut être confondue avec les effets de la lentille gravitationnelle faible dans les images de galaxies, ce qui en fait l'une des principales sources d'erreur systématique lors de l'étude de la lentille gravitationnelle faible. Par conséquent, estimer un modèle PSF fiable et précis est crucial pour le succès de toute mission de lentille gravitationnelle faible. Le champ PSF peut être interprété comme un noyau convolutif qui affecte chacune de nos observations d'intérêt et varie spatialement, spectralement et temporellement. Le modèle PSF doit être capable de gérer chacune de ces variations. Nous utilisons des étoiles spécifiques considérées comme des sources ponctuelles dans le champ de vue pour contraindre notre modèle PSF. Ces étoiles, qui sont des objets non résolus, nous fournissent des échantillons dégradés du champ PSF. Les observations subissent différents types de dégradations en fonction des propriétés du télescope. Certaines de ces dégradations incluent l'échantillonnage sous-optimal, une intégration sur la bande passante de l'instrument et un bruit additif. Nous construisons finalement le modèle PSF en utilisant ces observations dégradées, puis utilisons le modèle pour inférer le PSF à la position des galaxies. Cette procédure constitue le problème inverse mal posé de modélisation PSF. Voir [2] pour une revue récente de la modélisation PSF.
La mission Euclid récemment lancée représente l'un des défis les plus complexes pour la modélisation PSF. En raison de la bande passante très large de l'imagerie visible d'Euclid (VIS) allant de 550 nm à 900 nm, les modèles PSF doivent capturer non seulement les variations spatiales du champ PSF, mais aussi ses variations chromatiques. Chaque observation d'étoile est intégrée avec le spectre énergétique de l'objet (SED) sur tout le passband VIS d'Euclid. Comme les observations sont sous-échantillonnées, une étape de super-résolution est également requise. Un modèle récent appelé WaveDiff [3] a été proposé pour aborder le problème de modélisation PSF pour Euclid et est basé sur un modèle optique différentiable. WaveDiff a atteint des performances de pointe et est actuellement en cours d'implémentation dans les pipelines de traitement de données d'Euclid.
Objectifs. Les champs neuronaux récemment introduits [4] ont montré des performances impressionnantes dans les tâches de vision par ordinateur. Les champs neuronaux sont des réseaux neuronaux coordonnés qui paramètrent les propriétés physiques de scènes ou d'objets dans l'espace (et le temps). Ces réseaux ont acquis une visibilité particulière en abordant le problème de la reconstruction de scène 3D [5] à partir de plusieurs images 2D de la scène.
Si nous considérons les coordonnées planes focales (x, y) comme des directions de vue, le problème de modélisation PSF peut être considéré comme une reconstruction de scène à partir d'un ensemble fixe d'images 2D (les étoiles observées). L'un des objectifs de ce stage est d'adapter ces idées aux travaux récents sur les champs neuronaux et de les combiner avec le modèle WaveDiff. Le prochain objectif est de construire un nouveau modèle PSF qui nous permettrait de mieux capturer les variations spatiales du champ PSF. Un dernier objectif est d'inclure des variations spectrales spurielles dans le champ neuronal et de le conditionner sur des simulations existantes.

Context. Weak gravitational lensing [1] is a powerful probe of the Large Scale Structure of our Universe. Cosmologists use weak lensing to study the nature of dark matter and its spatial distribution. Weak lensing missions require highly accurate shape measurements of galaxy images. The telescope’s instrumental response, or point spread function (PSF), produces a deformation of the observed images. This deformation can be mistaken for the effects of weak lensing in the galaxy images, thus being one of the primary sources of systematic error when doing weak lensing science. Therefore, estimating a reliable and accurate PSF model is crucial for the success of any weak lensing mission. The PSF field can be interpreted as a convolutional kernel that affects each of our observations of interest that varies spatially, spectrally, and temporally. The PSF model needs to be able to cope with each of these variations. We use specific stars considered as point sources in the field-of-view to constrain our PSF model. These stars, which are unresolved objects, provide us with degraded samples of the PSF field. The observations go through different types of degradations depending on the properties of the telescope. Some of these degradations include undersampling, an integration over the instrument’s passband, and additive noise. We finally build the PSF model using these degraded observations and then use the model to infer the PSF at the position of galaxies. This procedure constitutes the ill-posed inverse problem of PSF modelling. See [2] for a recent review on PSF modelling.
The recently launched Euclid survey represents one of the most complex challenges for PSF modelling. Because of the very broad passband of Euclid’s visible imager (VIS) ranging from 550nm to 900nm, PSF models need to capture not only the PSF field spatial variations but also its chromatic variations. Each star observation is inte- grated with the object’s spectral energy distribution (SED) over the whole VIS passband. As the observations are undersampled, a super-resolution step is also required. A recent model coined WaveDiff [3] was proposed to tackle the PSF modelling problem for Euclid and is based on a differentiable optical model. WaveDiff achieved state-of-the-art performance and is currently being implemented into Euclid’s data processing pipelines.
Goals. The recently introduced neural fields [4] have shown impressive performance in computer vision tasks. Neural fields are coordinate-based neural networks that parametrise physical properties of scenes or objects across space (and time). These networks gained particular visibility by tackling the problem of 3D scene reconstruction [5] from several 2D images of the scene.
If we consider the (x,y) focal plane coordinates as viewing directions, the PSF modelling problem can be considered as a scene reconstruction from a fixed set of 2D images (the observed stars). One goal of the internship is to adapt these ideas in recent neural fields works and combine them with the WaveDiff model. The next goal is to build a new PSF model that would allow us to better capture the spatial variations of the PSF field. One last goal is to include spurious spectral variations in the neural field and condition it on existing simulations.
The candidate
The candidate must be pursuing a Master 2 degree (or equivalent) and should have a background in signal/image processing. The candidate should be comfortable with the Python programming language, and ideally with a deep learning framework (e.g. TensorFlow, PyTorch, JAX) and open-source and collaborative development tools (e.g. GitHub). Knowledge of machine learning, Fourier optics and experience processing astronomical images is not required but is beneficial.
The candidate will acquire expertise in astronomical image processing, Fourier optics, machine learning and deep learning. In addition, the intern will learn to work in a collaborative development environment and contribute to existing software packages. The knowledge acquired during the internship applies to a wide range of applications in various fields, e.g., biomedical imaging, and astrophysics.

Contact
The internship will take place in the LILAS lab (CEA Saclay), which is working on signal (and image) processing and machine learning applied to physics applications.

References
[1] R. Mandelbaum. “Weak Lensing for Precision Cosmology”. In: Annual Review of Astronomy and Astro- physics 56 (2018), pp. 393–433. doi: 10.1146/annurev-astro-081817-051928. arXiv: 1710.03235.
[2] T. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Point spread function modelling for astronomical
telescopes: a review focused on weak gravitational lensing studies”. In: arXiv e-prints, arXiv:2306.07996
(June 2023), arXiv:2306.07996. doi: 10.48550/arXiv.2306.07996. arXiv: 2306.07996 [astro-ph.IM].
[3] T. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Rethinking data-driven point spread function modeling with a differentiable optical model”. In: Inverse Problems 39.3 (Feb. 2023), p. 035008. doi:
10.1088/1361-6420/acb664.
[4] Y. Xie, T. Takikawa, S. Saito, O. Litany, S. Yan, N. Khan, F. Tombari, J. Tompkin, V. Sitzmann, and
S. Sridhar. “Neural Fields in Visual Computing and Beyond”. In: arXiv e-prints, arXiv:2111.11426 (Nov.
2021), arXiv:2111.11426. doi: 10.48550/arXiv.2111.11426. arXiv: 2111.11426 [cs.CV].
[5] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”. In: arXiv e-prints, arXiv:2003.08934 (Mar. 2020),
arXiv:2003.08934. doi: 10.48550/arXiv.2003.08934. arXiv: 2003.08934 [cs.CV].
2

Astrophysique, machine learning

Astrophysics, Machine learning

Machine learning

Machine learning