CTO de UCit, Benjamin Depardon est issu d’un double parcours ingénieur et chercheur en informatique : Ingénieur à l’INSA Lyon, puis Master et Thèse à l’Ecole Normale Supérieure Lyon dans le domaine du HPC (High Performance Computing) et de la gestion des travaux de calculs sur des environnements de calculs hétérogènes distribués type Grid et Cloud. Il a démarré sa carrière en tant que directeur technique dans une start-up issue de l’INRIA : SysFera, qui partageait la même vision du HPC que UCit, à savoir que celui-ci doit être simple et délivré de manière transparente pour en démocratiser son usage.
Chez UCit nous nous positionnons en tant qu’experts face aux challenges résultant des changements et des évolutions constantes qui interviennent dans le monde du HPC. Nous proposons un ensemble de solutions permettant :
- De simplifier l’accès et l’utilisation des infrastructures HPC afin d’en abstraire la complexité (vers du HPC-as-a-Service) et de permettre sa démocratisation
- D’optimiser l’utilisation de « supercalculateurs » afin d’en réduire les coûts, la disponibilité et la consommation d’énergie
- D’intégrer le Cloud Computing et la flexibilité qui en découle dans les nouveaux workflows, en particulier pour le Deep Learning et le traitement des données
Une vision commune
Le projet AQMO s’insère complètement dans la vision de UCit : AQMO vise à délivrer à des utilisateurs, quels qu’ils soient, des services de traitement de données de qualité de l’air de manière complètement transparente. Cela passe nécessairement par une complète abstraction des infrastructures sous-jacentes qui réalisent les traitements et simulations.
UCit travaille sur ces aspects au quotidien et développe des solutions innovantes permettant de présenter les ressources de calcul et les applications sous la forme de services, consommables par les utilisateurs à travers par exemple un portail web comme celui d’AmpliSIM.
AQMO nous permet d’étendre nos solutions, notamment en intégrant des cas d’utilisation bout en bout : du « Edge/Fog Computing » au HPC hybride (Cloud et Supercalculateur).
Les partenaires avec lesquels nous avons le plus travaillé sur ces aspects techniques sont d’une part l’IDRIS sur les sujets d’infrastructure, Ryax Technologies sur les aspects workflow, dataflow et automatisation du traitement des données à différents niveaux, et l’Université de Rennes 1 qui a mis en place les capteurs et les plateformes Edge embarquées dans les bus.
UCit au sein d’AQMO
La première étape du projet a été « l’abstraction » des ressources de calcul. Nous avons déployé avec CCME (Cloud Cluster Made Easy) et le portail EnginFrame, des outils permettant l’accès à des ressources de calculs qu’elles soient dans le Cloud, ou à l’IDRIS, de manière transparente, au travers d’interfaces unifiées. Chaque infrastructure de calcul a ses propres outils en interne, et nous en fournissons une abstraction pour accéder à ces différents fournisseurs de ressources afin de cacher aux utilisateurs finaux la « tuyauterie » nécessaire au bon fonctionnement de la plateforme AQMO.
Ces utilisateurs ne sont pas des experts en HPC et ne comprennent pas forcément toute la complexité qu’il peut y avoir derrière lorsqu’ils vont demander à exécuter des traitements de données et des simulations : il faut choisir les bons types et nombre de ressources de calcul, ainsi que l’infrastructure cible. Afin de simplifier ces choix, nous nous sommes intéressés à l’analyse et la prévision des besoins des calculs : nous avons mis au point des outils et algorithmes de Machine Learning capable de répondre aux questions suivantes au moment où l’utilisateur soumet un calcul : « de combien de ressources mon calcul a-t-il besoin ? », « dans combien de temps vais-je avoir mes résultats ? », « combien cela va coûter ? », etc. L’objectif est de cacher la complexité du HPC pour l’utilisateur, et pour l’administrateur d’optimiser la charge des ressources en limitant les erreurs d’utilisation.
Les solutions UCit
Nos solutions sont au cœur de l’architecture AQMO pour gérer l’exécution des traitements de données sur des environnements HPC. Nous sommes en très forte interaction avec les outils de Ryax, qui s’occupent de gérer le workflow global des données et l’exécution des traitements. Nous nous retrouvons derrière ce gestionnaire de workflow pour aller démarrer des ressources de calcul dans le Cloud, et fournir un point d’entrée unique à Ryax pour les utiliser ainsi que celles du centre de calcul de l’IDRIS pour qu’ils les intègrent dans leurs workflows.
En amont de l’exécution de chaque traitement de données, notre outil de prédiction, Predict-IT, est interrogé par Ryax pour identifier la plateforme cible et les bons paramètres d’exécution à utiliser en fonction de critères choisis par l’utilisateur.
Enfin, nous avons également développé un outil d’analyse des coûts d’exécution de ces charges de travail, afin de pouvoir planifier des campagnes d’analyses de données, et d’arbitrer entre différents scénarios prix/performance (temps de rendu des analyses).
AQMO comme innovation en matière de traitement et utilisation de données
Le système de récupération des données est en soi innovant, avant même de parler de leur traitement. Au lieu de se baser sur des données issues de capteurs fixes, le projet AQMO utilise des capteurs mobiles installés sur des bus, ce qui permet de quadriller en temps réel des zones de façon plus large et dynamique par rapport à des capteurs fixes.
Le second gros point innovant est que la plateforme que nous mettons en œuvre fait de l’analyse et du traitement de données à différents niveaux et différentes échelles. La donnée peut à la fois être traitée à la source, dans les bus, où un premier niveau de calcul est effectué, pour comprendre ce qui se passe aux abords du bus. Puis au niveau du serveur central où d’autres filtrages et d’autres traitements sont effectués. Finalement, pour les besoins de simulations pour prévoir l’évolution de la dispersion de polluants nous avons recours à des infrastructures HPC à l’IDRIS ou dans le Cloud.
Ces simulations permettront de répondre à des interrogations de la vie de tous les jours, par exemple sur le lieu d’implantation privilégié d’une future école maternelle en fonction du taux de circulation et de pollution d’une zone. Mais également pour répondre à des scénarios d’urgence suite à des incidents, afin de contenir le problème, d’en tirer des recommandations, d’en prévoir les retombées etc.