Thèse de doctorat
Systèmes de systèmes collaboratifs pour la logistique des données scientifiques
Les grands instruments scientifiques produisent aujourd’hui plus de données qu’un site unique ne peut en recevoir, en traiter ou en conserver. Transformer ces flux en produits exploitables suppose des workflows qui traversent des instruments, des centres de calcul, des plateformes de stockage et des réseaux de recherche — chacun sous une administration différente, dans un pays différent et sous une loi différente. Cette thèse étudie la conception de cette logistique des données : comment la modéliser, comment l’optimiser, de quelles métadonnées elle a besoin, et comment l’exposer aux utilisateurs sans masquer les exigences qui garantissent des résultats sûrs et reproductibles.
- Logistique des données
- Workflows inter-sites
- Gouvernance et sécurité
- Traçabilité et FAIR
- Calcul intensif comme service
Le problème
Le volume est la contrainte visible. La gouvernance est la vraie.
Les instruments scientifiques comme les plateformes industrielles — le CERN, le SKA, mais tout autant les flux que les entreprises traitent pour leurs clients — produisent des flux continus qu’il faut transformer : en données exploitables dans le premier cas, en réponses pour les clients dans le second. Lu en surface, c’est un problème de débit. Combien de données, à quelle cadence, sur quelles liaisons.
Ce n’est pas le cas. Chaque site engagé dans un workflow applique sa propre politique de sécurité, est hébergé dans son propre pays, et relève donc de la loi de ce pays. Un workflow ne fonctionne que s’il peut être autorisé, tracé et digne de confiance de bout en bout. La logistique des données scientifiques est d’abord une question de gouvernance, et seulement ensuite une question de bande passante.
Pourquoi cela compte
Les instruments exascale rendent l’écart impossible à ignorer.
Le Square Kilometre Array fonctionnera en continu et produira bien plus de données qu’on ne peut en stocker. Les signaux radio célestes doivent être transformés en produits exploitables largement en temps réel, à des débits comparables à cent millions de flux 4K au tout début du parcours, réduits à la volée à l’équivalent de quelques milliers de flux, pour archiver in fine de l’ordre de 700 pétaoctets chaque année. Il n’existe pas d’alternative au traitement à grande échelle.
En France, cette échelle est assurée par l’infrastructure nationale de calcul intensif coordonnée par GENCI : Adastra au CINES, Jean Zay à l’IDRIS et Joliot-Curie au TGCC. Ces centres étant des actifs nationaux stratégiques, ils relèvent du cadre protégeant le potentiel scientifique et technique de la Nation (PPST) et du régime des zones à régime restrictif (ZRR).
La conséquence est structurelle plutôt que technique. Dans une ZRR, l’accès est nominatif, la responsabilité personnelle ne peut être déléguée, les déplacements sont réglementés et tracés, et la divulgation à des tiers non autorisés doit être évaluée et maîtrisée. Ajoutez les contraintes ordinaires des supercalculateurs partagés — ordonnancement SLURM, limites de temps d’exécution de 24 heures sur Adastra, 100 sur Jean Zay et 72 sur Joliot-Curie, accès à Internet restreint aux nœuds de connexion — et les logiciels scientifiques portés par la communauté se heurtent à un régime pour lequel ils n’ont jamais été conçus. La barrière n’est pas le silicium. C’est le modèle d’exploitation.
Ce que la thèse mesure
- ~700 Po — de données exploitables du SKA archivées chaque année
- 3 — centres nationaux de calcul intensif, tous soumis au PPST et au régime ZRR
- ~7,9× — accélération mesurée du DDF Pipeline sur 24 nœuds — de 68,8 h à 8,7 h
Cinq perspectives sur un même problème de logistique.
01
Modélisation de la logistique des données
Décrire le workflow entier — instrument, transport, ressources de calcul et d’analyse intensive, stockage, laboratoires — comme un seul système dont les étapes peuvent être raisonnées, organisées et placées, plutôt que comme une série de problèmes de sites sans lien.
02
Optimisation multicritère
Les décisions de placement arbitrent entre contraintes de stockage, capacité des réseaux et des infrastructures (topologie, latence, protocoles de transfert), dépense énergétique, et difficulté d’écriture, de déploiement et de mise au point des applications. Un seul de ces critères pris isolément donne une mauvaise réponse.
03
Sécurité, gouvernance et souveraineté
Les règles PPST et ZRR décident non seulement de ce qui peut s’exécuter, mais de qui peut l’exploiter. La question Globus — pourquoi un service largement utilisé aux États-Unis ne peut gérer les identités ni les flux de données dans une zone à régime restrictif — est l’illustration la plus nette qu’un choix technique peut être une impossibilité juridique.
04
Traçabilité et métadonnées FAIR
Les opérations, les acteurs et les données doivent tous être attribuables. Les métadonnées attachées aux données et aux processus sont le levier qui rend les autres perspectives décidables plutôt que seulement discutables, et qui transforme une collection d’exécutions en science réutilisable.
05
L’ergonomie comme objet de recherche
Si l’interface exige l’administration d’un cluster, la communauté des astronomes ne la franchira pas. Les applications scientifiques doivent être exposées comme des services, afin que la complexité opérationnelle reste derrière l’interface tandis que les exigences scientifiques et de sécurité restent visibles devant elle.
Comment les perspectives s’articulent
Un seul workflow, trois juridictions.
Ces perspectives ne sont pas des programmes de recherche indépendants. Elles se rejoignent dans un workflow inter-sites concret : le DDF Pipeline, le logiciel d’auto-calibration et d’imagerie du radiotélescope LOFAR, précurseur du SKA, exécuté sur des sites de calcul et de stockage hétérogènes et géodistribués.
Entre ces points, chaque étape doit répondre à la même question dans une langue administrative différente. Où cette étape doit-elle s’exécuter, sous quelle autorité, avec quelles métadonnées enregistrées, et qui en est responsable ? Cette traduction est le système de systèmes que la thèse propose de modéliser.
Un workflow réparti entre plusieurs centres
- Instrument — SURFsara: Le centre national néerlandais de calcul intensif et site de référence de LOFAR, où arrivent les données du radiotélescope.
- Traitement — Jean Zay · Adastra · Joliot-Curie: Les trois supercalculateurs nationaux français, exploités par l’IDRIS, le CINES et le TGCC dans leurs périmètres ZRR.
- Stockage et partage — EOSC: L’European Open Science Cloud, réseau de recherche distribué ouvert aux utilisateurs européens de la recherche.
Méthodes
Un workflow exigeant comme banc d’essai.
Le DDF Pipeline est un bon cas d’étude précisément parce qu’elle répond à la fois à un vrai besoin de la communauté et à un problème système difficile. Une publication de données LoTSS a consommé environ seize millions d’heures de calcul ; une seule exécution atteint plusieurs centaines de gigaoctets de mémoire au pic, des images de cinq à vingt mille pixels de côté, entre une et vingt-quatre sous-bandes de fréquence, et des temps d’exécution mesurés en jours.
Le travail décrit et profile ce logiciel, puis propose le modèle d’exploitation qui le rend utilisable à grande échelle : microservices applicatifs et tampons éphémères pour déplacer les données sans accès direct au shell, un exécutant qui tire les tâches depuis l’intérieur de la zone sécurisée plutôt que de les y pousser, et un compte de service nommé qui concilie la traçabilité ZRR avec un outil communautaire partagé.
La traçabilité est capturée formellement plutôt que narrativement — cartes de connaissances structurées de l’application et de l’environnement d’exécution, et indicateurs de performance enregistrés à chaque exécution — afin qu’une exécution puisse être comparée, reproduite et, à terme, prédite.
Présenté à l’atelier InPEx 2025, Kanagawa, 15-17 avril 2025 : SKA — diapositives · programme de l’atelier
Contribution
Ce qu’apporte la thèse.
Un modèle de logistique des données dans lequel la gouvernance et la sécurité sont des contraintes de même rang que la capacité et le coût, et non une couche appliquée une fois l’architecture figée.
Une spécification des métadonnées nécessaires pour rendre opérationnel le déploiement d’un workflow à grande échelle : de quoi assurer la traçabilité des opérations et respecter les principes FAIR, et de quoi alimenter des décisions de placement multicritères.
Une alternative démontrée aux comptes de calcul par utilisateur — les applications scientifiques comme service — validée avec le DDF Pipeline sur Jean Zay et Adastra, le modèle du compte de service nommé étant en discussion avec les acteurs français de la sécurité.
Une demande quantifiée envers l’infrastructure : ce que cette logistique implique en stockage, en réseau, en énergie et en émissions dans un paysage scientifique centré sur les données.
Applications
Au-delà de la radioastronomie.
Le même problème apparaît partout où un workflow scientifique traverse des administrations, ce qui rend ces méthodes pertinentes pour d’autres communautés instrumentales et pour les infrastructures de recherche intensives en données.
La question du transport dépasse d’ailleurs les réseaux : un axe de travail concret concerne la spécification d’un dispositif de déplacement de données par les réseaux routiers et aériens, où la bande passante, la latence et l’énergie ne se comportent pas du tout comme sur une liaison de centre de données.