Simulation numérique en astrophysique spécialisé dans l’activité de "calcul de haute performance".
Astrophysics digital simulation for "high performance computing".
La modélisation s’est installée au SAp en 1982 et a immédiatement bénéficié des capacités informatiques du CEA. Le SAp s’est imposé dans la communauté internationale en précisant et validant les processus physiques de l’évolution stellaire classique. Puis une nouvelle étape a été franchie en 1996 avec l’arrivée des simulations hydrodynamiques multidimensionnelles consacrées à la cosmologie et au milieu interstellaire. Aujourd’hui de nouveaux challenges liés à la simulation 3D de nombreux processus astrophysiques conduisent à reconsidérer l’organisation de notre service en simulations numériques astrophysiques
Thèmes et programmes de l'IRFU
Simulations numériques en astrophysique, calcul intensif et visualisation
Objectif
Le terme de « simulation numérique » est en général utilisé pour désigner plusieurs activités en pratiques très différentes. Le programme « Simulations Numériques » que nous défendons n’a pas la prétention de recouvrir l’ensemble de ces activités, mais uniquement celles qui définissent aujourd'huii ce que l'on appelle "le calcul haute performance" et qui s’appuient sur les quatre étapes suivantes:
1.Développement de nouveaux algorithmes : cette activité est essentielle à toute activité de simulation qui vise à se développer. Il s’agit d’être à l’écoute des progrès réalisés en mathématiques appliquées, à mettre en pratique ces progrès dans le cadre astrophysique qui nous caractérise, ou à inventer de nouvelles approches spécifiques à nos problèmes (gravité, transfert). Les codes 1D sont des outils indispensables à cette étape du travail.
2.Calcul parallèle sur machine centralisée : nous avons accès aux moyens de calcul civils du TGCC à Bruyères-le-Châtel et National GENCI. Le pilotage de ce type d’ordinateurs est complexe, et s’apparente à l’utilisation d’un grand équipement (télescope ou accélérateur). A cette expertise indispensable s’ajoute la nécessité de développer des codes parallèles en utilisant les librairies OpenMP ou MPI.
3.Traitement des données : les codes de simulations numériques actuels peuvent générer plusieurs Téraoctets (To) de données en quelques semaines. Ces données sont en général archivées sur place (centre de calcul). Le post-traitement de ces données brutes est une phase cruciale, puisqu’elle conduit aux résultats scientifiquement exploitables. Or, il est impossible de traiter ces données intégralement sur le centre de calculs : temps d’attente trop long, développement parallèle trop complexe, saturation de la machine avec une myriade de petits jobs. Il faut donc rapatrier une partie de ces données en local (à l'IRFU), afin de les exploiter de façon plus flexible. Il faut pour cela une machine locale de taille suffisante.
4.Visualisation des données : C’est la dernière étape de notre activité de simulation numérique. La visualisation des données tridimensionnelles s’effectue exclusivement sur des machines locales, au IRFU, et de taille suffisante pour des objets graphiques 3D. Le SAp a pour tradition d’utiliser le logiciel IDL pour le traitement d’image : c’est aussi notre cas pour les simulations. Le logiciel SDvision développé à l'IRFU depuis 2006 permet de traiter nos problèmes spécifiques, à savoir la taille des données que nous manipulons et la structure complexe des objets (grilles adaptatives 3D, harmoniques sphériques…).
Le programme COAST de Simulations Numériques en Astrophysique a démarré en 2005 avec la création d'une équipe mixte SAp/SEDI; il comprend maintenant 7 physiciens permanents du SAp et 4 ingénieurs en développement logiciel du laboratoire LILAS du SEDI. Le projet ambitionne de développer les codes de simulation numérique du SAp (méthodes numériques,optimisation,parallélisation), de créer des outils de post-traitement capables d'interpréter et visualiser les résultats des différents codes, de créer des bases de données distribuées des résultats et de gérer les versions des sources d'une façon homogène. L'expertise dans les différents domaines de physique (cosmologie,milieu interstellaire,disques protoplanétaires,physique stellaire et physique des plasmas denses et chauds créés pas laser) ainsi que les compétences acquises en analyse numérique et en développement logiciel ont permis aux membres de COAST d'être partie prenante, souvent en tant que leaders, de collaborations extérieures: projets ANR, projets ERC (Petadisk, STARS2, Magmist, Galsico). L'équipe COAST encadre aussi des stagiaires en informatique et des thésards ou post-docs en astrophysique. La valorisation du projet COAST passe aussi par une participation active à des conférences internationales orientées astrophysique, simulation ou génie logiciel, ainsi que par le développement d'un site Web dédié.
Le premier objectif est évidemment de rendre le travail quotidien plus facile à chacun des membres du programme. L’achat d’une machine de calcul locale est une condition impérative. Il existe aussi une grande synergie entre nos activités : parallélisation des codes, développement d’algorithmes, visualisation. La mise en commun de notre savoir-faire au sein d’une structure vivante et visible va améliorer considérablement notre efficacité. Il existe aussi plusieurs projets de développement de codes en gestation : parallélisation MPI dans FARGO, géométrie sphérique dans RAMSES, couplage HR avec RAMSES, optimisation du code ASH qui permettent un développement fort des thèmes scientifiques sous-jacents.
Nous souhaitons aussi formuler des objectifs exigeants et tangibles dans le cadre de notre programme :
1.Mise à disposition des codes internes au SAp et de leur documentation à toute personne du SAp sur un répertoire SVN.
2.Mise à disposition des résultats de simulations à toute personne du SAp qui le souhaite sur une base de données interne.
3.Mise à disposition des images et des films sur un site Web (interne et externe) à des fins de communications.
4.Proposer un enseignement de qualité dans le domaine des simulations et assurer la formation en interne pour l’utilisation des codes et des concepts.
Nous souhaitons que le comité des chefs de laboratoires se réunisse une fois par an avec le chef de service pour évaluer les résultats obtenus pour chacun de ces objectifs, donner des orientations stratégiques aux membres du programme, et éventuellement étudier les manques.
Localisation
Service d'Astrophysique
Batiment 709
Orme des Merisiers
Centre CEA de Saclay
Collaboration
Institut d'Astrophysique de Paris
Observatoire de Paris-Meudon
Laboratoire d'Astrophysique de Marseille
Centre de Recherche Astronomique de Lyon
Mathématiques Appliquées Bordeaux I
Centre pour l'Etude des Laseres Intenses et Applications (Bordeaux I)
Institut Laser Plasma
Laboratory of Computational Dynamics (University of Colorado, Boulder)
Universidad Autonoma Nacional de Mexico (Mexico)
Contacts:
Simulation de champs magnétiques du Soleil
Etat du projet
Les travaux en cours du programme COAST sont recensés sur la page 'Schedule' du site Web de COASt :
http://www-dapnia.cea.fr/Projets/COAST/schedule.htm
Dates importantes : 1er janvier 2004 : début du programme simulations numériques en astrophysique ;
septembre 2004 : début de l'exploitation de la machine de post-traitement au Dapnia.
Septembre 2005 : lancement du projet COAST avec la création d'une équipe mixte SAp/Sédi qui permet aux astrophysiciens de les décharger en partie des tâches de type génie logiciel; l'arrivée d'ingénieurs du LILAS (laboratoire d'ingénierie logicielle pour les applications scientifiques) permet entre autres le développement de logiciels dédiés pour la visualisation (SDvision) ou la mise en place de bases de données partagées sur internet (Odalisc), ainsi que la maintenance d'un site Web COAST.
Novembre 2006 : démarrage des projets ANR Magnet et Sinerghy, dans lesquels les membres de COAST prennent une part importante des développements et du management, en plus de leur participation active dans le projet ANR Horizon.
Septembre 2007 : Record absolu dans la simulation cosmique (17 septembre 2007)
Une équipe de chercheurs français, sous la direction de Romain Teyssier, astrophysicien au CEA (Service d'Astrophysique, CEA-DAPNIA), a mené à terme, dans le cadre du “Projet Horizon ”, la plus grande simulation jamais réalisée de la formation des structures de l’Univers. Cette simulation, qui s’est appuyée sur le nouveau supercalculateur BULL du Centre de Calcul Recherche et Technologie (CCRT), va permettre aux astrophysiciens de comparer leurs modèles aux observations astronomiques avec un réalisme sans précédent. Les premières images permettent une exploration virtuelle de l'univers avec une précision jamais encore atteinte (voir l'animation pour un voyage à travers un "cube" d'Univers).
Perspectives
L’activité de simulation numérique est appelée à évoluer très fortement dans les années à venir. Il n’est pas impossible de voire émerger des projets numériques ambitieux et structurés, à l’image des expériences de physique ou des missions spatiales. Des consortiums internationaux ont déjà vu le jour (Virgo Consortium, Grand Challenge Cosmology Consortium…). Dans certains cas, ils ont débouché sur des projets très ciblés (le FLASH Center à Chicago avec le code FLASH, le projet Zeus…). Le code ASH est déjà le fruit d'un « Grand Challenge in Geophysical and Astrophysical Fluid Dynamics in Turbulence » (lcd-www.colorado.edu)
Un contexte national favorable
Ce programme voit le jour aujourd’hui, dans un contexte favorable à la simulation numérique en astrophysique. Les programmes nationaux ont tous fait état d’un besoin pressant de soutien à l’égard de leurs activités en simulation numérique. Dans un panorama plus large, l’exercice de prospective auquel s’est livré le CNRS à la Colle-sur-le-Loup en 2003 a montré que la promotion de la simulation numérique en astrophysique était une des priorités de l’Institut national des sciences de l’Univers et de l’environnement (INSUE). Pour concrétiser cette volonté de soutien, l’INSU a d’ailleurs créé en 2002 l’Action spécifique pour la simulation numérique en astrophysique (ASSNA, présidé d’ailleurs par un membre du SAp), dont le but est précisément d’organiser l’activité de simulation, et de promouvoir des projets transverses en simulation numérique. Ces projets de simulations numériques seront mis en place au sein de plusieurs instituts (CNRS, universités et CEA). Il est impératif pour le SAp de se doter d’une structure humaine et matérielle crédible : c’est à ce prix que nous pourrons imposer notre leadership dans la communauté.
Des moyens de calcul de plus en plus lourds
L’accroissement prodigieux des moyens de calcul dans le monde permet des percées scientifiques toujours plus spectaculaires. Les architectures actuelles, dites « architectures massivement parallèles », permettent d’atteindre des mémoires et des vitesses toujours plus grandes, et par là même de résoudre des problèmes scientifiques toujours plus ambitieux. La complexité de ces machines croît malheureusement au même rythme : les simulations deviennent de plus en plus lourdes, l’analyse en local devient de plus en plus difficile, et demande une organisation complexe et efficace des ressources. Ainsi, pour bénéficier pleinement de l’essor des moyens de calcul, il est nécessaire de mettre en commun des moyens humains, matériels et logiciels. C’est l’objectif du programme « simulations numériques ». Pour faire vivre cette activité au sein du service d’astrophysique, il est nécessaire de disposer d’un soutien humain et matériel plus important.
Simulations numériques au CEA : une situation privilégiée
Le CEA présente de nombreux atouts pour promouvoir une activité de simulation numérique au sein du SAp.
Le CEA est un des premiers employeurs de mathématiciens appliqués en France (avec l’Inria et EDF). Le CEA-DAM et le CEA-DEN utilisent les simulations numériques de façon industrielle, avec aussi beaucoup de savoir-faire en recherche amont sur les algorithmes et le parallélisme. Cette situation unique nous conduit aux réflexions suivantes :
1. Notre groupe doit interagir avec des équipes spécialisées ailleurs au CEA, de façon à tirer parti au mieux de leur expertise. Nous participons ainsi régulièrement aux conférences de l’INSTN de Maths Applis.
2. Notre groupe peut aussi servir de relais aux ingénieurs du CEA qui souhaitent valoriser leurs travaux dans un cadre astrophysique. C’est le cas de Dubroca (CEA Cesta) qui collabore avec le SAp.
3. Notre groupe peut valoriser ses propres travaux en transférant son expertise propre vers d’autres groupes du CEA. C’est le cas des techniques de parallélisation du code RAMSES vers le code HERA du CEA Bruyères-le-Châtel (équipe de Jourdren) ou des techniques de transfert radiatif du code HR vers le code HARES du CEA CESTA..
4. Notre groupe peut finalement servir de relais pour des étudiants en simulation numérique en astrophysique, qui seraient plus tard embauchés ailleurs au CEA en simulation numérique aussi.
Le CEA est de loin le premier institut en France pour les moyens de calculs lourds. Le CEA-DAM est même le premier en Europe, mais l’ouverture de la machine Téra ne peut se faire qu’au cas par cas, sur des projets ponctuels. Le SAp peut néanmoins espérer tirer profit de cette situation unique, en pilotant un projet ponctuel au service de la communauté française dans son ensemble.
L’émulation créée autour de ces moyens de calculs semble d’ailleurs essaimer en dehors du CEA avec les projets TéraTec et NumaTec, dont le but est de réunir des entreprises, des universités et des laboratoires dans une communauté d’utilisateurs et d’experts en calcul numérique. Il est primordial pour le SAp de se doter rapidement d’une activité vivante et crédible autour de ces thèmes.
Le CEA se distingue des autres instituts de recherche par la gestion de carrières de ses chercheurs. Ces derniers peuvent bénéficier d’un avancement normal, indépendamment de la fréquence des publications scientifiques. La phase de développement d’un code peut durer assez longtemps avant d’espérer pouvoir en tirer des bénéfices scientifiques. Les chercheurs du CNRS ou des universités hésitent souvent avant de s‘engager dans des projets amitieux de codes numériques : ce n’est pas le cas des chercheurs du CEA, dont la « culture projet » se prête parfaitement à ce genre d’activité.
Vers une valorisation de l’activité « simulation numérique » ?
Une perspective intéressante pour le SAp concerne la valorisation (financière ?) de ses simulations numériques. Il existe un réel marché pour nos travaux dans le cadre de la communication scientifique « multimédia ». Il est courant pour les musées ou expositions à caractère scientifique de projeter des animations ou des vidéos. Certains musées sont même prêts à financer de tels projets. Il faut pour cela se doter des moyens suffisant pour réaliser des maquettes de bonne qualité. Notre groupe possède déjà une certaine expertise dans le domaine. C’est malheureusement une activité qui demande beaucoup de temps.
Simulation de turbulences en 3D
Moyens d'investigation
1.Développement de nouveaux algorithmes :
cette activité est essentielle à toute activité de simulation qui vise à se développer. Il s’agit d’être à l’écoute des progrès réalisés en mathématiques appliquées, à mettre en pratique ces progrès dans le cadre astrophysique qui nous caractérise, ou à inventer de nouvelles approches spécifiques à nos problèmes (gravité, transfert). Les codes 1D sont des outils indispensables à cette étape du travail.
2.Calcul parallèle sur machine centralisée :
nous avons accès aux moyens de calcul civils du CCRT à Bruyères-le-Châtel. Le pilotage de ce type d’ordinateurs est complexe, et s’apparente à l’utilisation d’un grand équipement (télescope ou accélérateur). A cette expertise indispensable s’ajoute la nécessité de développer des codes parallèles en utilisant les librairies OpenMP ou MPI.
3.Traitement des données :
les codes de simulations numériques actuels peuvent générer dans les cas extrêmes plusieurs Téraoctets (To) de données en quelques semaines. Ces données sont en général archivées sur place (à Bruyères-le-Châtel). Le post-traitement de ces données brutes est une phase cruciale, puisqu’elle conduit aux résultats scientifiquement exploitables. Or, il est impossible de traiter ces données intégralement sur le centre de calculs : temps d’attente trop long, développement parallèle trop complexe, saturation de la machine avec une myriade de petits jobs. Il faut donc rapatrier une partie de ces données en local (au DAPNIA), afin de les exploiter de façon plus flexible. Il faut pour cela une machine locale de taille suffisante.
4.Visualisation des données :
C’est la dernière étape de notre activité de simulation numérique. La visualisation des données tridimensionnelles s’effectue exclusivement sur des machines locales, au DAPNIA, et de taille suffisante pour des objets graphiques 3D. Le SAp a pour tradition d’utiliser le logiciel IDL pour le traitement d’image : c’est aussi notre cas pour les simulations.Le logiciel SDvision développé au DAPNIA depuis 2006 permet de traiter nos problèmes spécifiques, à savoir la taille des données que nous manipulons et la structure complexe des objets (grilles adaptatives 3D, harmoniques sphériques…).
Description technique
1- Station de travail de visualisation (réseau DAPNIA)
2- Machine de post-traitement des simulations
(en cours d'acquisition par le DAPNIA)
3- Centre de Calcul Centralisé en France:
CCRT
IDRIS
4- Centre de Calcul à l'étranger:
Pittsburg Supercomputing Center
National Energy Research Supercomputing Center (Berkeley)
MareNostrum (Barcelone)
Le Projet Horizon a pour objectif de fédérer les activités en simulation numérique autour d’un projet ciblé sur l’étude de la formation des galaxies. Son but est de comprendre les mécanismes physiques très complexes à l’origine de la structure et de la distribution des galaxies qui nous entourent, et notamment la nôtre : la « Voie Lactée ». Dans un contexte favorable aux initiatives en calcul scientifique, le Programme National de Cosmologie (PNC), le Programme National des Galaxies (PNG) et le Programme AstroParticules (PAP) ont exprimé le besoin de stimuler et de rationaliser les efforts individuels au sein de chacune des deux disciplines. Le Projet Horizon est né du rapprochement de 5 équipes de recherche dans différents instituts. Son objectif scientifique porte spécifiquement sur la formation des galaxies dans un cadre cosmologique, et vise à fédérer les activités nationales dans ce domaine. Le Projet Horizon n’a donc pas pour vocation d’épuiser tous les thèmes de recherche dans les deux domaines. Sa nature transverse et fédérative devra néanmoins permettre de développer en quelques années des compétences en calcul parallèle et distribué (GRID), en base de donnée d’observations virtuelles et en mathématiques appliqués, tout en gardant une forte composante théorique en astrophysique.
L’accroissement prodigieux des moyens de calcul dans le monde permet des percées scientifiques toujours plus spectaculaires. Les architectures actuelles, dites « architectures massivement parallèles », permettent d’atteindre des mémoires et des vitesses toujours plus grandes, et par là même de résoudre des problèmes scientifiques toujours plus ambitieux. La complexité de ces machines croît malheureusement au même rythme : les simulations deviennent de plus en plus lourdes, l’analyse en local devient de plus en plus difficile, et demande une organisation complexe et efficace des ressources. Ainsi, pour bénéficier pleinement de l’essor des moyens de calcul, il est nécessaire de mettre en commun des moyens humains, matériels et logiciels. C’est l’objectif du Projet Horizon : regrouper les forces de plusieurs instituts au sein d’un même projet, afin d’exploiter au mieux les ressources informatiques centralisées en France (CCRT, IDRIS, CINES) et de permettre aux deux communautés du PNC et du PNG d’accéder facilement à des résultats de simulations de niveau international.
De façon à permettre l’éclosion d’un tel groupe d’experts en simulations numériques, il est vital de mettre au point un projet avec des objectifs scientifiques bien définis : le Projet Horizon a pour but d’étudier la formation des galaxies dans un cadre cosmologique. Ainsi, notre projet ne cherche pas à couvrir toutes les activités du PNC, mais uniquement celles qui concernent la formation des galaxies. De même, notre projet ne cherche pas à épuiser tous les aspects scientifiques du PNG, mais uniquement ceux qui ont un rapport direct avec la cosmologie.
Objectifs du Projet Horizon
1. Étudier numériquement la Formation des Galaxies dans un Cadre Cosmologique
2. Développer des techniques de pointe en programmation parallèle et en mathématiques appliquées pour simuler la formation des galaxies dans un cadre cosmologique, et prédire leurs signatures observationnelles en fonction de divers ingrédients physiques.
3. Regrouper plusieurs experts du domaine pour échanger leur savoir-faire, mettre en commun des logiciels et rationaliser l’accès aux centres de calculs nationaux.
4. Donner à la communauté française du PNC, PNG et PAP (observateurs et théoriciens) un accès convivial à des résultats de simulations de niveau international.
Simulation numérique de l'instabilité du choc d'accretion, par F. Masset
SN2NS : Modélisation de l'effondrement du coeur des étoiles massives, la naissance des étoiles à neutrons et des trous noirs.
SN2NS (SuperNova to Neutron Stars) est un programme de l'agence française ANR dont le but est de modéliser l'effondrement stellaire donnant naissance aux étoiles à neutrons et aux trous noirs.
Ce programme est une collaboration entre trois laboratoires :
- Institut de Recherche sur les lois Fondamentales de l’Univers (IRFU) au CEA (Saclay)
- Laboratoire Univers et Theories (LUTh) à l' Observatoire de Paris (Meudon)
- Institut de Physique Nucleaire (IPN) à l'Université Paris 11 (Orsay)
Contact :
voir aussi le site scientifique SN2NS (en anglais)
Objectifs
Le projet SN2NS réunit les expertises de trois groupes à l'IRFU (Saclay), l'IPN (Orsay) et au LUTh (Meudon), afin de développer un outil numérique pour simuler et comprendre l'effondrement du cœur des étoiles massives à la fin de leur vie, si leur masse excède 9 masses solaires. La première seconde de l'effondrement détermine à la fois le seuil de l'explosion en supernova, et les conditions de naissance des étoiles à neutrons et des trous noirs.
Cet effondrement gravitationnel est décrit par la physique nucléaire, la physique des neutrinos, l'hydrodynamique multidimensionnelle et la relativité générale. Les progrès récents sont consécutifs à la découverte de la nature asymétrique de l'explosion, liée aux instabilités à grande échelle qui brisent la symétrie sphérique. Comment la topologie globale de l'explosion dépend elle de la masse et de la rotation du progéniteur ? Les conséquences observables sont le seuil d'explosion de la supernova, la masse, la quantité de mouvement et le moment cinétique de l'étoile à neutrons ou du trou noir résiduel, et la signature en ondes gravitationnelles.
Effondrement du coeur de Fer d'une étoile massive
Illustration expérimentale de l'instabilité hydrodynamique de l'effondrement du coeur de l'étoile, par une analogie en eau peu profonde
Le groupe de l'IRFU/SAp (T. Foglizzo) s'est spécialisé dans la caractérisation des conséquences hydrodynamiques des instabilités multidimensionnelles. Les physiciens nucléaires impliqués à l'IPN (J. Margueron, E. Kahn) et au LUTh (M. Oertel) développeront une équation d'état adaptée aux fortes températures de la formation des étoiles à neutrons et des trous noirs. L'expertise du groupe de relativité numérique du LUTh (J. Novak, E. Gourgoulhon) sera cruciale pour pouvoir caractériser le seuil entre la formation d'une étoile à neutrons et celle d'un trou noir. Le code de relativité générale "CoCoNuT" sera amélioré par l'implémentation d'une équation d'état et de prescriptions évolutives pour le transport des neutrinos. Le code RAMSES et une version Newtonienne de CoCoNuT seront utilisés à l'IRFU pour simuler l'accrétion stationnaire et caractériser l'évolution 3D du choc.
Les points forts du projet SN2NS sont i) la complémentarité des outils analytiques et numériques pour comprendre les phénomènes hydrodynamiques 3D, ii) la modélisation des explosions de supernova incluant la formation d'un trou noir, et iii) la collaboration avec des physiciens nucléaires pour un traitement moderne de l'équation d'état.
Des techniques avancées de visualisation des simulations multidimensionnelles aideront à la valorisation des résultats du projet, vis à vis de la communauté scientifique ainsi que du grand public.
Simulation numérique d'onde gravitationnelle par J. Novak
• Structure et évolution de l'Univers › Evolution des grandes structures et des galaxies Thèmes de recherche du Service d'astrophysique › Data-SAp Thèmes de recherche du Service d'astrophysique › Modélisation-SAp Modélisation, calcul, analyse des données
• Le Département d'Électronique des Détecteurs et d'Informatique pour la Physique (DEDIP) • Le Département d'Astrophysique // UMR AIM (DAp) • The Astrophysics Division (DAp)
• Laboratoire d'ingénierie logicielle pour les applications scientifiques (LILAS) • Laboratoire Cosmologie et Evolution des Galaxies • Laboratoire de Modélisation des Plasmas Astrophysiques • Laboratoire Dynamique des Etoiles, des (Exo)planètes et de leur Environnement • Astrophysical Plasma Modelling Laboratory • Cosmology and Galaxy Evolution group (LCEG) • Laboratory Dynamics of Stars, (Exo)-planets and their Environment
