16 septembre 2024

Les centres de traitement des données : l’exemple de TARANIS

Le LPC2E met régulièrement au point des centres de traitement des données de ses instruments ainsi que de toute donnée auxiliaire nécessaire à la compréhension des phénomènes observés. Et, lorsque le laboratoire porte la responsabilité scientifique d’une mission, il met en place des centres de mission qui sont, de surcroît, le point d’accès officiel aux données et outils offerts à la communauté. Cela a été le cas pour les missions satellitaires DEMETER et TARANIS de l’équipe Plasmas Spatiaux.

TARANIS était une mission du CNES dédiée à l’étude des phénomènes énergétiques au-dessus des orages (voir cette page pour plus d’informations) et dont le lancement s’est soldé par un échec en 2020. Le Centre de Mission Scientifique TARANIS devait rester actif au moins 4 ans, en voici une description en exemple :

LE RÔLE DU CENTRE DE MISSION

Les données scientifiques sont reçues par un réseau de stations de réception du CNES (Centre National d’Etudes Spatiales), puis rapatriées et traitées au Centre de Mission Scientifique TARANIS (CMST) situé au LPC2E. Les principales fonctions du CMST sont :

  • la programmation des instruments scientifiques de la charge utile (programmation automatique par défaut, modification par les scientifiques, validation des plans, transfert au CNES pour envoi au satellite),
  • la surveillance technologique des instruments scientifiques,
  • l’acquisition, le traitement (16 chaînes de traitement exécutées quotidiennement) et l’archivage des données scientifiques, des données d’orbite et des données de contexte météorologique (éclairs et nuages),
  • la distribution des données et produits à la communauté scientifique (disponibilité des données en moins de 48h),
  • des services utilisateurs (outils de sélection et visualisation de données, mise à disposition de moyens de calcul).
Schéma résumant le fonctionnement et l’écosystème autour du CMST

LES DONNEES

Les instruments scientifiques enregistrent en continu des données entre -60° et +60° de latitude géographique. Au-dessus des zones identifiées comme prioritaires, des mesures à haute résolution temporelle sont enregistrées en plus sur des intervalles de temps inférieurs à la seconde. Ces données représentent :

  • 4 Go de données scientifiques enregistrées à bord et renvoyées au sol tous les jours (dans un format optimisé mais non lisible par les utilisateurs),
  • 25 Go de données par jour mises à disposition de la communauté scientifique sur le serveur de données,
  • 50 To de données à l’issue de 4 années de mission scientifique.

L’interface web du CMST offre aux utilisateurs scientifiques des outils d’accès, de visualisation des données et de support à l’analyse scientifique.

L’ARCHITECTURE INFORMATIQUE

L’infrastructure informatique repose sur :

  • 6 serveurs (pour les traitements, les retraitements, la gestion des données, la programmation),
  • Une baie de stockage de 50 To de stockage au LPC2E + 50 To sauvegarde hors LPC2E (pour des raisons de sécurité),
  • des éléments réseau et de sécurité (switchs, pare-feu),
  • 4 postes clients pour opérer le centre de mission.

L’architecture logicielle repose sur :

  • une structure informatique  générique du CNES, permettant d’accueillir les données et les traitements,
  • plus de 80 logiciels de traitements de données (langages de programmations utilisés : Python, Java, C, Fortran et IDL),
  • des serveurs Apache et Tomcat,
  • une base de données PostgreSQL, un annuaire LDAP, un ordonnanceur de tâches,
  • une supervision par Nagios.