Changes with Eclis V6.34
Article mis en ligne le 1er février 2019

par senesi

La version 6.34 d’Eclis est disponible sur beaufix, prolix, /cnrm/est/COMMON
Elle deviendra la version de /scratch/CMIP6/V2 sur prolix et beaufix dès qu’elle aura été éprouvée sur un ou deux runs de production CMIP6 ; je contacte les candidats séparément

Eclis

  • Les listings d’exécution sont tous conservés si SAVE_LISTINGS=all ; ils sont basculés du répertoire de relance vers son sous-répertoire ’listings’ tous les 5 ans
  • Sur plantage du modèle la pile d’exécution interprétée n’est plus en fin du fichier last_runstderr, mais dans un fichier ’stack’ du rundir du plantage, puis copié dans un fichier stack.$RESDATE du répertoire de relance

Eclis et Xios

  • Eclis autorise les rerun pour reprendre/compléter des fichiers XIOS incrémentaux. Paramètres additionnels : RERUN et REAL_END_DATE. Doc en page 58 et suivantes de la présentation de Marie-Pierre en http://www.umr-cnrm.fr/cm/IMG/pdf/formation_simulation_cnrmcm6.pdf
  • Les sorties Xios peuvent être conservées sur disque par le toggle LIOXKEEP ; elles sont sur IOXKEEPDIR (par défaut /scratch/work/user/outputs), qui doit ensuite en être nettoyé ; cette option est à activer pour le contrôle qualité (cf infra)
  • Toute incohérence dans l’index de renommage des fichiers (noms Xios <-> noms Hendrix) provoque un arrêt dès le step1. L’index est historisé dans RELDIR/listings
  • Certains fichiers de diagnostics pouvaient temporairement n’avoir aucune version backup ; c’est rectifié.
  • Le script qui prend en charge la sauvegarde des sorties incrémentales (pcif.py) est plus robuste

Contrôle qualité

  • Le script désigné par le param PREPARE tourne désormais en fin de step.02, car, quand il désigne de PrePARE, outil de Contrôle Qualité CMIP6, il a besoin de mémoire et qu’il est efficace en parallèle (sur 40 procs). Ses sorties sont en RELDIR/last_prepare.out. Ce contrôle est bloquant. On trouve le script PrePARE de CMIP6 en /scratch/CMIP6/V2/externals.prepare/do_prepare.sh
  • Ce script est aussi lancé sur l’ensemble des fichiers en fin de simulation (si LIOXKEEP=1). Ses sorties sont en RELDIR/listings/prepare.out. Ce contrôle est bloquant
  • Le script désigné par le param NCTIME est exécuté à chaque run sur les fichiers de diagnostics complets d’une part, et sur les incomplets d’autre part, et en fin de simulation (alors en mode ’analyse multi-fichiers’) sur l’ensemble des séries de fichiers (si LIOXKEEP=1). Ses sorties sont en RELDIR/last_nctime.out. Un exemple de tel script est disponible sur /scratch/CMIP6/V2/externals/nctime/nctime_wrapper.sh
  • Le script désigné par le param PNQC est exécuté en fin de simulation sur l’ensemble des séries de fichiers (si LIOXKEEP=1) (PNQC=Pierre Nabat’s Quality Control). Un tel script est disponible dans $ECLIS/toolbox/pnqc.sh. Ses sorties sont en RELIDR/listings/pnqc.out. Pour l’instant, ce script ne travaille pas en parallèle et prend un temps d’exécution prohibitif -> ne pas l’utiliser avant mon signal (i.e. commenetr toute ligne "PNQC=..." dans le fichier param ).
  • Les contrôles qualité de fin de job sont lancés dans un job satellite, qui rend compte par mail des résultats du contrôle

Expériences avec Data Request et expériences de production :

  • L’option d’install "-tdr", qui ne fait que faire tourner dr2xml pour contrôle, explore désormais avec dr2xml toutes les années de la simu, sauf si on utilise l’option ’-fyear’ (pour first year) qui limite l’examen à la première année (celle de INIDATE)
  • Le logging des expés de production (r<90) se fait en $BIG_BROTHER_DIR (par défaut /scratch/CMIP6/V2/actual_runs)
    • On peut utiliser un n° de réalisation r <90 pour une expé non-CMIP6 si on renomme les sorties. Les expés ne sont alors pas loguées

Autres

  • xrelan est amélioré (cas /scratch/ftexp nettoyé par le système)