Réunion du 21/06/2016
Article mis en ligne le 18 juillet 2016

par moine

Présents : Stéphane, Constantin, Matthieu, Aurore, David SMt, Sophie T,Laurent, Romain, Roland, David S., Pierre, Marie-Pierre

  • Avancement CNRM-CM6_BR (Aurore)
    • Aurore : Un run de 40 ans NEMO-GELATO-(ARPEGE pre-6.2.3) avec XIOS2 pour NEMO et GELATO. Réalisé Prolix (intel 15)
    • Rythme de production : 7-8h/jour.
    • Pas de rééquilibrage de charge effectué par rapport à Beaufix (seulement du nombre de nœuds)
    • Pre6.2.3 = binaire d’Antoinette sur Prolix.
    • Options d’OASIS (conservatif global) : va « plomber » le ¼ de degré. Le BSC a reporté le même problème. La solution de masques terre-mer correspondant Surfex/Nemo ne sera pas retenue pour CMIP6. L’équipe OASIS doit corriger ces pbs avec le conservatif.
    • David SMt : Simulations jumelles Arpege avec aérosols interactifs. Version stable. Pas d’écart constaté.
  • Stratégie de runs CMIP6 :
    • Pour le HR on table sur : 1000 Nemo, 1000 Arpege => 50 nœuds
    • 1800 nœuds par machine
    • Ressources disponibles pour CMIP6 : 3% des ressources en moyenne, 5%-10% en crête. D’où plusieurs simulations en même temps.
    • Sur 9 nœuds => 10 LR ou 2 HR
    • HR sur 50 nœuds => 5SYPD, sur 30 nœuds => 3 SYPD
  • XIOS2 (Stéphane)
    • XIOS dans Arpege Surfex : fait
    • Interpolation horizontale testée avec grille d’origine Gaussienne ou Lambert. Encore des pbs de limites de masques.
    • Interpolation verticale : promise pour la semaine dernière (on est confiant)
    • Performances : en T127, surcoût XIOS d’environ 10 % (runs courts donc fort poids de l’initialisation). En T359 à peu près neutre sur runs courts. Avec 1 proc dédié XIOS (ce qui peut consommer jusqu’à 1 nœud). David Smt se propose pour étudier des configurations Arpege utilisant un nombre entier de noeuds moins ’quelques’ procs (1 Trip + 1 à 3 Xios)
    • Lucia ne donne que des stats par composante, ne distingue pas XIOS, donc pas utile pour les perfs XIOS.
    • David SMt note qu’il serait intéressant de garder les ranges Min/Max tels que produits (et imprimés) par fullpos .
    • Si on désactive fullpos (LFPOS=false) ça ne tourne pas. La désactivation partielle est OK (N1POS=0)
    • Question de la « décumulation » :
      • Avant : les cumuls sortis par Surfex en fullpos étaient décumulés en postprocessing pour calcul de diags intégrés.
      • Avec XIOS, il y a un surcout du à la livraison au pas de temps du modèle des variables
      • XIOS n’a pas de fonctionnalité de décumulation. Demande remontée à la XIOS-team.
      • On précise à XIOS la fréquence d’échantillonnage et la plage temporelle sur laquelle on moyenne.
      • Pas une solution de passer à XIOS un champ déjà moyenné (par principe XIOS gère lui-même le calcul des moyennes).
      • Dans XIOS, les champs sont livrés à tous les pas de temps indépendamment de la fréquence d’échantillonnage demandée. Stéphane a codé une sur-couche de « filtrage » qui permet de ne post-traiter et de ne fournir à XIOS qu’aux fréquences demandées.
    • En cours/ A faire :
      • perfs runs long
      • phasage sur branche Surfex de Bertrand (CM6SFXv8)
      • Livraison MSE à Antoinette
      • Organisation commune des fichiers de config XIOS (corresp. nom de variable modèle/cmip, description des fichiers, description des variables)
      • Tests en couplé
  • drq2xml (Stéphane)
    • Outil qui génère automatiquement à partir de la Data Request, les fichiers de config des outputs (iodef.xml)
    • Partagé avec IPSL. L’utilisation d’un table de synonymes modèle-dépendant sera nécessaire.
    • En l’état de prototype. Fonctionne.
    • Fonctionnalité d’XIOS des time series en mode « append » nécessaire pour s’approcher du format CMOR monovar/longue période.
    • Nécessite de revoir la gestion des sorties par ECLIS (on ne peut plus rester sur du mois/mois pour l’archivage) pour tirer partie de cette fonctionnalité.
    • Implique aussi de revoir les plugins ESM. 
    • Pour cela les fichiers doivent rester sur scratch le temps qu’on atteigne la fin de période visée (discussion sur la conservation ou non du principe d’un volume maximal de 2 Go par fichier de sortie).
    • Soulève les questions de place sur le SCRATCH. A voir avec la DSI.
    • Mode append d’XIOS : Fonctionnalité de synchronisation XIOS garantissant l’intégrité du fichier même si le processus d’append est interrompu. De même XIOS sait gérer la reprise d’un simu en reprenant en arrière : XIOS écrase la partie de données surnuméraire.
    • Fonctionnalité XIOS de bascule fichiers multivars/monovar : On peut donner une description multi-variables dans l’iodef.xml et une clef permet de basculer sur du mono variable. Pratique pour gérer les 2 types de productions : CMIP monovar et simus maison plus courtes multivar. Autre possibilité : adopter le monovar pour tout type d’exercice et tarer avant archivage sur hendrix pour économiser sur les inodes dans le cas de multiples petites simulations.
  • CR réunion début juin IS-ENES (Stéphane)
    • Les outils ESGF ont été refondus dont les nouvelles procédures de publication. Pas encore de mise en commun programmée.
    • Data Request : Martin Juckes ne peut pas annoncer de date de livraison (dû au retard des MIPs à finaliser leur liste d’outputs)
    • Certaines variables demandées ne sont toujours pas décrites
    • Les volumes estimés sont donnés en NetCDF4
    • Les données publiées seront munies d’un PID pour la citation.
    • L’IPSL développe un service d’errata sur les bases CMIP6 => centralisation des signalements d’erreurs. Pas encore tranché : envoi systématique des errata aux utilisateurs qui ont downloadé les jeux ou pas ?
    • Contrôle qualité : le DKRZ a refondu son package (finalisé en décembre). Déjà fonctionnel sur les données CMIP5 et CORDEX. Pas d’articulation avec la Data Request a priori. Contact Stephan Kinderman
    • CMOR3.1.0 vient d’être livré
    • CEDA-CC développé par Martin Juckes, mais après la Data Request ….
    • Dans la data resquest pas bcp de plages de validité. Question posée à la CMOR-team. (Réponse depuis : les plages n’ont pas évolué dans CMOR depuis CMIP5, mais le développeur est preneur de nouvelles plages)
    • Il faudra publier en même temps les données et les résultats des QC. On ne sait pas où en est cette assertion….
    • Outil ISPL Synda pour la réplication des données par les sites ESGF principaux. Permet aussi la réplication à l’échelle d’un labo, une personne.
    • QC : le CERFACS s’assure auprès du DKRZ et CEDA de la stabilité des outils (du moins sur leur structure) puis commence le maquettage de l’intégration dans ECLIS.
  • ESGF (Laurent)
    • Mise en place nouveau groupe de travail CDNOT (CMIP Datanode Operations Team) dont Sébastien Denvil est le chairman. Eric Gerbier et Laurent représentent le groupe CNRM-CERFACS. Un DMP (Data Management Plan) va sortir. 28 instituts membres de ce groupe pour le moment.
    • 15 nœuds seulement ont redémarré à ce jour..Au CNRM : Nouvelle baie supplémentaire et ajout extension de disques de 1.4 Pb en cours.
    • Coup dur avec le départ de l’IPSL de Nicolas Carenton (co-développeur du package ESGF)
    • Formation d’un réseau des RSSI des centres (ESGF Software Security Team) : E. Gerbier y représentera le CNRM-CERFACS.
  • Environnements Prolix/beaufix
    • Intel 15 ok.
    • Compilé en Intel 16 Arpège plante, même en T127
    • Stéphane interroge la DSI et GMAP sur les choix de long terme
  • DataRequest (Stéphane)
    • Il faut relancer l’examen des diagnostics demandés
    • Il faut repartir de la dernière version 1.beta.29 de la DR
    • SIMIP : à voir avec David et/ou Matthieu. Vérifier qu’on ait tous les diags demandés en sortie de Gelato les champs.
    • Stéphane installera une version commune de la Data Request et des outils qui permettent d’estimer le volume occupé par une variable pour un ensemble de MIPs par (e.g.) :

drq –m CFMIP,AerChelMIP –p3 –printvars –printLinesMax 2000 | grep ‘rsut’

  • Updcli/Updozo (David StM)
    • Refonte : Maintenant gestion dans code Arpege sous GmkPack
    • Plus que 2 versions : updclisfx, updcliarp, ozone incluse, aérosols inclus. Updozo n’existe plus.
    • Pour Aladin on ne lit pas les clim d’aérosols de la même façon. Spécificité à intégrer (Pierre/David SMt)
  • Prochaine réunion : 19 juillet. Roland propose de réfléchir, lors de cette réunion, à une « mutualisation » ou « un « complémentarité » des embauches CRESCENDO/PRIMAVERA pour aider la partie technique infrastructre, production. A discuter avec Laurent Terray et Sophie Valcke.

Dans la même rubrique

Réunion du 11/09/2020
le 21 septembre 2020
par Rigoudy
Réunion du 03/07/2020
le 15 juillet 2020
par Rigoudy
Réunion du 05/06/20
le 26 juin 2020
par Rigoudy
Réunion du 10/03/2020
le 15 avril 2020
par Rigoudy
Réunion du 23/01/2020
le 30 janvier 2020
par Rigoudy