Efficient Management of Resources in Heterogeneous Platforms
Gestion efficace des ressources dans les plateformes hétérogènes
Résumé
The world of Information Technology (IT) is in constant evolution.With the explosion of the number of digital and connected devices in our everyday life, the IT infrastructures have to face an ever growing amount of users, computing requests and data generated.The Internet of Things have seen the development of computing platforms at the edge of the network to bridge the gap between the connected devices and the Cloud, called the Edge Computing.In the domain of High Performance Computing, the parallel programs executed on the platforms requires always more computing power in a search for improved performances.Besides, we observed in the past years a diversification of the hardware composing these infrastructures.This complexification of the (network of) computing platforms pose several optimisation challenges that can appear at different levels.In particular, it led to a need for better management systems to make an efficient usage of the heterogeneous resources composing these platforms.The work presented in this thesis focuses on resources optimisation problems for distributed and parallel platforms of the Edge Computing and High Performance Computing domains.In both cases, we study the modelling of the problems and propose methods and algorithms to optimise the resources management for better performances, in terms of quality of the solutions.The problems are studied from both theoretical and practical perspectives.More specifically, we study the resources management problems at multiple levels of the Qarnot Computing platform, an Edge Computing production platform mostly composed of computing resources deployed in heaters of smart-buildings.In this regard, we propose extensions to the Batsim simulator to enable the simulation of Edge Computing platforms and ease the design, development and comparison of data and jobs placement policies in such platforms.Then, we design a new temperature prediction method for smart-buildings and propose a formulation of a new scheduling problem with two-agents on multiple machines.In parallel, we study the problem of scheduling applications on hybrid multi-core machines in the objective of minimising the completion time of the overall application.We survey existing algorithms providing performance guarantees on the constructed schedules and propose two new algorithms for different settings of the problem, proving performance guarantees for both.Then, we conduct an experimental campaign to compare in practice the relative performance of the new algorithms with existing solutions in the literature.
Le monde des Technologies de l'Information (IT) est en constante évolution.Avec l'explosion du nombre d'appareils numériques et connectés dans notre vie de tous les jours, les infrastructures IT doivent faire face à une constante augmentation du nombre d'utilisateurs, de requêtes informatiques et de données générées.L'Internet des Objets a vu le développement de plateformes de calcul en bordure du réseau pour combler l'écart entre les appareils connectés et le Cloud, appelé le Edge Computing.Dans le domaine du Calcul à Haute Performance, les programmes parallèles exécutés sur les plateformes demandent toujours plus de puissance de calcul à la recherche d'une amélioration des performances.De plus, il a été observé au cours des dernières années une diversification des composants matériels dans ces infrastructures.Cette complexification des (réseaux de) plateformes de calculs pose plusieurs problèmes d'optimisation qui peuvent apparaître à divers niveaux.En particulier, cela a mené au besoin de meilleurs systèmes de gestion pour une utilisation efficace des ressources hétérogènes qui composent ces plateformes.Le travail présenté dans cette thèse se focalise sur des problèmes d'optimisation de ressources pour les plateformes parallèles et distribuées du Calcul à Haute Performance et du Edge Computing.Dans les deux cas, nous étudions la modélisation des problèmes et nous proposons des méthodes et des algorithmes de gestion de ressources pour de meilleures performances.Les problèmes sont étudiés à la fois sur des plans théoriques et pratiques.Plus spécifiquement, nous étudions les problèmes de gestion de ressources à différents niveaux de la plateforme Qarnot Computing, une plateforme de production Edge principalement composée de ressources de calculs déployées dans des radiateurs de bâtiments intelligents.Pour cela, nous proposons des extensions au simulateur Batsim pour permettre la simulation de plateformes Edge et pour faciliter le design, le développement et la comparaison de politiques de placement de données et de tâches sur de telles plateformes.Ensuite, nous proposons une nouvelle méthode de prédiction de la température pour des bâtiments intelligents et nous formulons un nouveau problème d'ordonnancement à deux agents sur machines multiples.En parallèle, nous étudions le problème d'ordonnancement d'applications sur machines multi-coeur hybrides dont l'objectif est la minimisation du temps total de complétion de l'application.Nous faisons une revue des algorithmes existants avec des garanties de performances, puis nous proposons deux nouveaux algorithmes pour différentes variantes du problème et nous donnons des preuves de leur garanties de performances.Enfin, nous conduisons une campagne expérimentale pour comparer les performances relatives de nos algorithmes avec des solutions existantes de la littérature.
Origine : Version validée par le jury (STAR)