Resource Management for Data Stream Processing in Geo-Distributed Environments
Gestion de Ressources des Systèmes de Traitement de Données en Flux dans les Environnements Géo-distribués
Résumé
The deployment of Data Stream Processing (DSP) frameworks in geo-distributed computing infrastructures can bridge the gap between Cloud and edge devices and reduce data transfers over long distances, which is a critical challenge for new emerging IoT applications where the data sources are located far from Cloud servers. However, due to the heterogeneous network latencies experienced by the resources and unpredictable workload variations experienced by the applications, optimal resource usage in these environments in a way that meets certain QoS requirements when running DSP applications remains a challenge. In this thesis, we addressed this problem over three contributions. First, we proposed a performance model to capture DSP performance in geo-distributed environments. Second, we designed a model-based DSP auto-scaler to deal with non-stationary workloads of new IoT application scenarios. Finally, we developed a generic experimental Fog computing testbed customized to support various DSP experimentations.
Le déploiement de systèmes de traitement de données en flux (DSP) dans des infrastructures informatiques géo-distribuées peut combler le fossé entre le Cloud et les périphériques et réduire les transferts de données sur de longues distances, ce qui est un défi critique pour les nouvelles applications IoT émergentes où les sources de données sont situées loin des serveurs Cloud. Cependant, en raison des latences réseau hétérogènes rencontrées par les ressources et des variations de charge de travail imprévisibles rencontrées par les applications, l’utilisation optimale des ressources dans ces environnements d’une manière qui répond à certaines exigences de QoS lors de l’exécution d’applications DSP reste un défi. Dans cette thèse, nous avons abordé ce problème à travers trois contributions. Tout d’abord, nous avons proposé un modèle de performance pour capturer les performances DSP dans des environnements géo-distribués. Deuxièmement, nous avons conçu un auto-scaler DSP basé sur ce modèle pour gérer les charges de travail non stationnaires des nouveaux scénarios d’applications IoT. Enfin, nous avons développé un
banc d’essai de Fog Computing expérimental générique personnalisé pour prendre en charge diverses expérimentations DSP.
Origine : Fichiers produits par l'(les) auteur(s)