Simultations numériques

La modélisation s’est installée au SAp en 1982 et a immédiatement bénéficié des capacités informatiques du CEA. Grâce au CRAY, le SAp s’est imposé dans la communauté internationale en précisant et validant les processus physiques de l’évolution stellaire classique. Puis une nouvelle étape a été franchie en 1996 avec l’arrivée des simulations hydrodynamiques multidimensionnelles consacrées à la cosmologie et au milieu interstellaire. Aujourd’hui de nouveaux challenges liés à la simulation 3D de nombreux processus astrophysiques conduisent à reconsidérer l’organisation de notre service en simulations numériques astrophysiques.

Le terme de « simulation numérique » est assez vague. Il est en général utilisé pour désigner plusieurs activités en pratiques très différentes. Le programme « Simulations Numériques » que nous défendons n’a pas la prétention de recouvrir l’ensemble de ces activités, mais uniquement celles qui s’appuient sur les quatre étapes suivantes:

1.Développement de nouveaux algorithmes : cette activité est essentielle à toute activité de simulation qui vise à se développer. Il s’agit d’être à l’écoute des progrès réalisés en mathématiques appliquées, à mettre en pratique ces progrès dans le cadre astrophysique qui nous caractérise, ou à inventer de nouvelles approches spécifiques à nos problèmes (gravité, transfert). Les codes 1D sont des outils indispensables à cette étape du travail.

2.Calcul parallèle sur machine centralisée : nous avons accès aux moyens de calcul civils du CCRT à Bruyères-le-Châtel1. Le pilotage de ce type d’ordinateurs est complexe, et s’apparente à l’utilisation d’un grand équipement (télescope ou accélérateur). A cette expertise indispensable s’ajoute la nécessité de développer des codes parallèles en utilisant les librairies OpenMP ou MPI.

3.Traitement des données : les codes de simulations numériques actuels peuvent générer dans les cas extrêmes plusieurs Téraoctets (To) de données en quelques semaines. Ces données sont en général archivées sur place (à Bruyères-le-Châtel). Le post-traitement de ces données brutes est une phase cruciale, puisqu’elle conduit aux résultats scientifiquement exploitables. Or, il est impossible de traiter ces données intégralement sur le centre de calculs : temps d’attente trop long, développement parallèle trop complexe, saturation de la machine avec une myriade de petits jobs. Il faut donc rapatrier une partie de ces données en local (au DAPNIA), afin de les exploiter de façon plus flexible. Il faut pour cela une machine locale de taille suffisante.

4.Visualisation des données : C’est la dernière étape de notre activité de simulation numérique. La visualisation des données tridimensionnelles s’effectue exclusivement sur des machines locales, au DAPNIA, et de taille suffisante pour des objets graphiques 3D. Le SAp a pour tradition d’utiliser le logiciel IDL pour le traitement d’image : c’est aussi notre cas pour les simulations. D’autres logiciels (HVR, BOB) seront peut-être plus adaptés à nos besoins : notre spécificité réside dans la taille des données que nous manipulons et la structure complexe des objets (grilles adaptatives 3D, harmoniques sphériques…).

Service d'Astrophysique
Batiment 709
Orme des Merisiers
91191 Gif-sur-Yvette Cedex

Institut d'Astrophysique de Paris
Observatoire de Paris-Meudon
Laboratoire d'Astrophysique de Marseille
Centre de Recherche Astronomique de Lyon
Mathématiques Appliquées Bordeaux I
Centre pour l'Etude des Laseres Intenses et Applications (Bordeaux I)
Institut Laser Plasma
Laboratory of Computational Dynamics (University of Colorado, Boulder)
Universidad Autonoma Nacional de Mexico (Mexico)

1.Développement de nouveaux algorithmes : cette activité est essentielle à toute activité de simulation qui vise à se développer. Il s’agit d’être à l’écoute des progrès réalisés en mathématiques appliquées, à mettre en pratique ces progrès dans le cadre astrophysique qui nous caractérise, ou à inventer de nouvelles approches spécifiques à nos problèmes (gravité, transfert). Les codes 1D sont des outils indispensables à cette étape du travail.

2.Calcul parallèle sur machine centralisée : nous avons accès aux moyens de calcul civils du CCRT à Bruyères-le-Châtel. Le pilotage de ce type d’ordinateurs est complexe, et s’apparente à l’utilisation d’un grand équipement (télescope ou accélérateur). A cette expertise indispensable s’ajoute la nécessité de développer des codes parallèles en utilisant les librairies OpenMP ou MPI.

3.Traitement des données : les codes de simulations numériques actuels peuvent générer dans les cas extrêmes plusieurs Téraoctets (To) de données en quelques semaines. Ces données sont en général archivées sur place (à Bruyères-le-Châtel). Le post-traitement de ces données brutes est une phase cruciale, puisqu’elle conduit aux résultats scientifiquement exploitables. Or, il est impossible de traiter ces données intégralement sur le centre de calculs : temps d’attente trop long, développement parallèle trop complexe, saturation de la machine avec une myriade de petits jobs. Il faut donc rapatrier une partie de ces données en local (au DAPNIA), afin de les exploiter de façon plus flexible. Il faut pour cela une machine locale de taille suffisante.

4.Visualisation des données : C’est la dernière étape de notre activité de simulation numérique. La visualisation des données tridimensionnelles s’effectue exclusivement sur des machines locales, au DAPNIA, et de taille suffisante pour des objets graphiques 3D. Le SAp a pour tradition d’utiliser le logiciel IDL pour le traitement d’image : c’est aussi notre cas pour les simulations. D’autres logiciels (HVR, BOB) seront peut-être plus adaptés à nos besoins : notre spécificité réside dans la taille des données que nous manipulons et la structure complexe des objets (grilles adaptatives 3D, harmoniques sphériques…).

1- Station de travail de visualisation (réseau DAPNIA)
2- Machine de post-traitement des simulations
(en cours d'acquisition par le DAPNIA)
3- Centre de Calcul Centralisé en France:
CCRT
IDRIS
4- Centre de Calcul à l'étranger:
Pittsburg Supercomputing Center
National Energy Research Supercomputing Center (Berkeley)

1. Développement de nouveaux algorithmes : cette activité est essentielle à toute activité de simulation qui vise à se développer. Il s’agit d’être à l’écoute des progrès réalisés en mathématiques appliquées, à mettre en pratique ces progrès dans le cadre astrophysique qui nous caractérise, ou à inventer de nouvelles approches spécifiques à nos problèmes (gravité, transfert). Les codes 1D sont des outils indispensables à cette étape du travail.

2. Calcul parallèle sur machine centralisée : nous avons accès aux moyens de calcul civils du CCRT à Bruyères-le-Châtel. Le pilotage de ce type d’ordinateurs est complexe, et s’apparente à l’utilisation d’un grand équipement (télescope ou accélérateur). A cette expertise indispensable s’ajoute la nécessité de développer des codes parallèles en utilisant les librairies OpenMP ou MPI.

3. Traitement des données : les codes de simulations numériques actuels peuvent générer dans les cas extrêmes plusieurs téraoctets (To) de données en quelques semaines. Ces données sont en général archivées sur place (à Bruyères-le-Châtel). Le post-traitement de ces données brutes est une phase cruciale, puisqu’elle conduit aux résultats scientifiquement exploitables. Or, il est impossible de traiter ces données intégralement sur le centre de calculs : temps d’attente trop long, développement parallèle trop complexe, saturation de la machine avec une myriade de petits jobs. Il faut donc rapatrier une partie de ces données en local (au Dapnia), afin de les exploiter de façon plus flexible. Il faut pour cela une machine locale de taille suffisante.

4. Visualisation des données : C’est la dernière étape de notre activité de simulation numérique. La visualisation des données tridimensionnelles s’effectue exclusivement sur des machines locales, au DAPNIA, et de taille suffisante pour des objets graphiques 3D. Le SAp a pour tradition d’utiliser le logiciel IDL pour le traitement d’image : c’est aussi notre cas pour les simulations. D’autres logiciels (HVR, BOB) seront peut-être plus adaptés à nos besoins : notre spécificité réside dans la taille des données que nous manipulons et la structure complexe des objets (grilles adaptatives 3D, harmoniques sphériques…).

Dans ce chapitre, nous allons préciser les objectifs concrets du programme ainsi que les exigences formulées à chacun de ses membres. Nous pensons que si ces objectifs sont remplis dans les années à venir, l’activité « simulation numérique » au SAp aura acquis une visibilité et une maturité suffisantes pour assurer sa pérennité et son leadership au sein de la communauté française.

Le premier objectif est évidemment de rendre le travail quotidien plus facile à chacun des membres du programme. L’achat d’une machine de calcul locale est une condition impérative. Il existe aussi une grande synergie entre nos activités : parallélisation des codes, développement d’algorithmes, visualisation. La mise en commun de notre savoir-faire au sein d’une structure vivante et visible va améliorer considérablement notre efficacité. Il existe aussi plusieurs projets de développement de codes en gestation : parallélisation MPI dans FARGO, géométrie sphérique dans RAMSES, couplage HR avec RAMSES, qui permettent un développement fort des thèmes scientifiques sous-jacents.

Nous souhaitons aussi formuler des objectifs exigeants et tangibles dans le cadre de notre programme :

1.Mise à disposition des codes internes au SAp (donc pas ASH) et de leur documentation à toute personne du SAp sur un répertoire CVS.
2.Mise à disposition des résultats de simulations à toute personne du SAp qui le souhaite sur une base de données interne.
3.Mise à disposition des images et des films sur un site Web (interne et externe) à des fins de communications.
4.Proposer un enseignement de qualité dans le domaine des simulations et assurer la formation en interne pour l’utilisation des codes et des concepts.

Nous souhaitons que le comité des chefs de laboratoires se réunisse une fois par an avec le chef de service pour évaluer les résultats obtenus pour chacun de ces objectifs, donner des orientations stratégiques aux membres du programme, et éventuellement étudier les manques.

1^er janvier 2004 : début du programme simulations numériques en astrophysique ;
septembre 2004 : début de l'exploitation de la machine de post-traitement au Dapnia.

Perspectives pour les années à venir

L’activité de simulation numérique est appelée à évoluer très fortement dans les années à venir. Il n’est pas impossible de voire émerger des projets numériques ambitieux et structurés, à l’image des expériences de physique ou des missions spatiales. Des consortiums internationaux ont déjà vu le jour (Virgo Consortium, Grand Challenge Cosmology Consortium…). Dans certains cas, ils ont débouché sur des projets très ciblés (le FLASH Center à Chicago avec le code FLASH, le projet Zeus…). Le code ASH est déjà le fruit d'un « Grand Challenge in Geophysical and Astrophysical Fluid Dynamics in Turbulence » (lcd-www.colorado.edu)

Un contexte national favorable

Ce programme voit le jour aujourd’hui, dans un contexte favorable à la simulation numérique en astrophysique. Les programmes nationaux ont tous fait état d’un besoin pressant de soutien à l’égard de leurs activités en simulation numérique. Dans un panorama plus large, l’exercice de prospective auquel s’est livré le CNRS à la Colle-sur-le-Loup en 2003 a montré que la promotion de la simulation numérique en astrophysique était une des priorités de l’Institut national des sciences de l’Univers et de l’environnement (INSUE). Pour concrétiser cette volonté de soutien, l’INSU a d’ailleurs créé en 2002 l’Action spécifique pour la simulation numérique en astrophysique (ASSNA, présidé d’ailleurs par un membre du SAp), dont le but est précisément d’organiser l’activité de simulation, et de promouvoir des projets transverses en simulation numérique. Ces projets de simulations numériques seront mis en place au sein de plusieurs instituts (CNRS, universités et CEA). Il est impératif pour le SAp de se doter d’une structure humaine et matérielle crédible : c’est à ce prix que nous pourrons imposer notre leadership dans la communauté.

Des moyens de calcul de plus en plus lourds

L’accroissement prodigieux des moyens de calcul dans le monde permet des percées scientifiques toujours plus spectaculaires. Les architectures actuelles, dites « architectures massivement parallèles », permettent d’atteindre des mémoires et des vitesses toujours plus grandes, et par là même de résoudre des problèmes scientifiques toujours plus ambitieux. La complexité de ces machines croît malheureusement au même rythme : les simulations deviennent de plus en plus lourdes, l’analyse en local devient de plus en plus difficile, et demande une organisation complexe et efficace des ressources. Ainsi, pour bénéficier pleinement de l’essor des moyens de calcul, il est nécessaire de mettre en commun des moyens humains, matériels et logiciels. C’est l’objectif du programme « simulations numériques ». Pour faire vivre cette activité au sein du service d’astrophysique, il est nécessaire de disposer d’un soutien humain et matériel plus important.

Simulations numériques au CEA : une situation privilégiée

Le CEA présente de nombreux atouts pour promouvoir une activité de simulation numérique au sein du SAp.

Le CEA est un des premiers employeurs de mathématiciens appliqués en France (avec l’Inria et EDF). Le CEA-DAM et le CEA-DEN utilisent les simulations numériques de façon industrielle, avec aussi beaucoup de savoir-faire en recherche amont sur les algorithmes et le parallélisme. Cette situation unique nous conduit aux réflexions suivantes :
1. Notre groupe doit interagir avec des équipes spécialisées ailleurs au CEA, de façon à tirer parti au mieux de leur expertise. Nous participons ainsi régulièrement aux conférences de l’INSTN de Maths Applis.
2. Notre groupe peut aussi servir de relais aux ingénieurs du CEA qui souhaitent valoriser leurs travaux dans un cadre astrophysique. C’est le cas de Dubroca (CEA Cesta) qui collabore avec le SAp.
3. Notre groupe peut valoriser ses propres travaux en transférant son expertise propre vers d’autres groupes du CEA. C’est le cas des techniques de parallélisation du code RAMSES vers le code HERA du CEA Bruyères-le-Châtel (équipe de Jourdren) ou des techniques de transfert radiatif du code HR vers le code HARES du CEA CESTA..
4. Notre groupe peut finalement servir de relais pour des étudiants en simulation numérique en astrophysique, qui seraient plus tard embauchés ailleurs au CEA en simulation numérique aussi.

Le CEA est de loin le premier institut en France pour les moyens de calculs lourds. Le CEA-DAM est même le premier en Europe, mais l’ouverture de la machine Téra ne peut se faire qu’au cas par cas, sur des projets ponctuels. Le SAp peut néanmoins espérer tirer profit de cette situation unique, en pilotant un projet ponctuel au service de la communauté française dans son ensemble.

L’émulation créée autour de ces moyens de calculs semble d’ailleurs essaimer en dehors du CEA avec les projets TéraTec et NumaTec, dont le but est de réunir des entreprises, des universités et des laboratoires dans une communauté d’utilisateurs et d’experts en calcul numérique. Il est primordial pour le SAp de se doter rapidement d’une activité vivante et crédible autour de ces thèmes.

Le CEA se distingue des autres instituts de recherche par la gestion de carrières de ses chercheurs. Ces derniers peuvent bénéficier d’un avancement normal, indépendamment de la fréquence des publications scientifiques. La phase de développement d’un code peut durer assez longtemps avant d’espérer pouvoir en tirer des bénéfices scientifiques. Les chercheurs du CNRS ou des universités hésitent souvent avant de s‘engager dans des projets amitieux de codes numériques : ce n’est pas le cas des chercheurs du CEA, dont la « culture projet » se prête parfaitement à ce genre d’activité.

Vers une valorisation de l’activité « simulation numérique » ?

Une perspective intéressante pour le SAp concerne la valorisation (financière ?) de ses simulations numériques. Il existe un réel marché pour nos travaux dans le cadre de la communication scientifique « multimédia ». Il est courant pour les musées ou expositions à caractère scientifique de projeter des animations ou des vidéos. Certains musées sont même prêts à financer de tels projets. Il faut pour cela se doter des moyens suffisant pour réaliser des maquettes de bonne qualité. Notre groupe possède déjà une certaine expertise dans le domaine. C’est malheureusement une activité qui demande beaucoup de temps. Il existe déjà au CEA des infographistes ou des experts en communications. Il est urgent pour le SAp d’accéder à leur savoir-faire, ce qui permettra à la cellule communication de fournir des films de meilleure qualité.