If you are exceeding your standard and overall quota on cougar, this is for you !
Sur cougar, nous sommes incités à migrer nos données vers les media "archive", et disposons de la possibilité de "charger en espace rapide" les données qui sont migrées en "archive". cf. la documentation de référence
Pour faciliter l’usage de ces media et fonctions avec la structure des répertoires des sorties et restarts de CNRM—CM5, il existe un script à utiliser sur tori ou yuki, qui permet de travailler composante par composante, voire répertoire par répertoire (ex : les restarts Trip seulement). Il utilise a mécanique de requêtes postées par ftp (et donc sans changer la localisation des données) . Une limitation : si vous bougez des données "glace de mer" et que votre expé est configurée pour mettre dans le même répertoire ces données-là et les sorties Nemo, les deux seront affectées.
Le script est disponible dans le répertoire de scripts de la version de référence d’ECLIS. Il est basé sur le script delexp d’Aurore, et continue à permettre aussi de détruire les fichiers d’une expé.
Nous en sommes à la version 0. Soyez donc indulgents. L’option "-t" permet de créer et consulter le fichier de la requête sans la soumettre.
Quelques exemples pour migrer vers Media Archive :
-
~senesi/eclis/current/scripts/cm_files MONEXPE: bascule vers medias archive toutes les sorties et tous les restarts de l’expérience MONEPXE -
cm_files -r A MONEXPE: bascule seulement les restarts et sorties atmosphériques -
cm_files -p RESARCH MONEXPE: bascule seulement les fichiers restarts (tous : atmosphère , océan, ...) -
cm_files -l OCEOUTARCH,ICERESARCH MONEXPE: bascule les sorties oceaniques et les restarts Gelato -
cm_files LEXPE_DU_COPAIN salas: on peut basculer l’expé de quelqu’un d’autre !
Mode d’emploi :
Migrate or delete files related to a CNRM-CM5 experiment
cm_files [options] EXPE [ USER ]
EXPE : name of the experiment
USER : if you want to migrate the data of another user, add its name
By default, migrate all files related to this experiment to archive media.
The optional arguments -r, -l and -p do restrict the list of files to migrate/delete. They are combined with a conjunction (logical ’and’) : only files matching all these criteria will be processed
The EXPE.conf file is copied in $HOME/.exp_conf/ if action is delete and
-r, -l, or -f are provided (otherwise, it is left unchanged and
the ’relance’ directory is not deleted)
For details on archive media, see http://intradsi/IMG/doc/DocUtilisateurMediasArchives.doc
You will get a migrate report by mail if your EXPE.conf file includes a
’RUNMAIL’ line (it should)
options :
-
--versionshow program’s version number and exit -
-h, --helpshow this help message and exit -
-a ACTION, --action=ACTION
: either ’VersMediaLent’ (default) or ’VersMediaRapide’ or
’ChargeEnEspaceRapide’ or ’LibereEspaceRapide’ or ’delete’ -
-r REALM, --realm=REALM
A, I, O, L, R or C : process only files from one realm (if realms
are not mixed in directories) A:Atmosphere, O:Ocean, R:River, C : Coupler, I : seaIce, L : Land -
-l DIRS, --dirs=DIRS: comma separated list of ECLIS names for directories to process, for instance : OCERESARCH, ATMRESARCH (mind the case where realms are mixed in directories) -
-p PATTERN --pattern=PATTERN: pattern for directory types to process, e.g. : RESARCH for ATMRESARCH+OCERESARCH+..., PATHM for monthly means ..." ; this can be a regular expression -
-f FREQ, --freq=FREQwhatever the other options, left unchanged one out of n restarts files starting with first one ; - 1 means keep all restart files -
-t, --testdoes not do the job, but let you check the ftp directives in ./ftp.in -
-c, --copy_requestcopy the migration request file in /.migrations -
-m MAIL, --mail=MAILadd this mail adress to experiments RUNMAIL parameter, for sending migration reports