Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Daniel Rosendo

Theses Year : 2023

Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Méthodologies pour l’Analyse Reproductible des Workflows Edge-to-Cloud

(1, 2)

1
2

Daniel Rosendo

Function : Author
PersonId : 746327
IdHAL : daniel-rosendo
ORCID : 0000-0003-1175-8426

Scalable Storage for Clouds and Beyond

Scientific Data Management

Abstract

Distributed infrastructures for computation and analytics are now evolving towards an interconnected ecosystem allowing complex applications to be executed on the Edge-to-Cloud continuum. Understanding and optimizing end-to-end performance in such a complex continuum is challenging. One crucial challenge is accurately reproducing relevant behaviors of a given application workflow and representative settings of the physical infrastructure underlying this complex continuum. This thesis is a conceptual and practical contribution to the Edge-to-Cloud continuum, proposing and applying methodologies in novel environments. Our methodologies aim at overcoming the complexity of understanding and optimizing Edge-to-Cloud workflows. As such, they enable reproducible experiment design, application optimization, efficient workflow provenance capture, and cost-effective experiment reproducibility. We validated our proposal by first developing the E2Clab framework that supports the complete analysis cycle of an application on the Edge-to-Cloud Continuum and then using E2Clab to optimize Pl@ntNet, a global plant identification application. Large-scale experimental validation on Grid'5000 shows that our methodology has proven helpful for understanding and improving the performance of Pl@ntNet.

Les infrastructures distribuées pour le calcul et l'analyse évoluent désormais vers un écosystème interconnecté permettant l'exécution d'applications complexes dans le continuum Edge-to-Cloud. Comprendre et optimiser les performances de bout en bout dans ce contexte est un défi majeur. Un besoin crucial consiste à reproduire avec précision les comportements pertinents des workflows et les paramètres représentatifs de l'infrastructure physique sous-jascente. Cette thèse est une contribution conceptuelle et pratique au continuum Edge-to-Cloud, proposant des méthodologies et les appliquant dans des environnements novateurs. Nos méthodologies ont pour but de s'affranchir de la complexité de la compréhension et de l'optimisation des workflows dans le continuum Edge-to-Cloud. Ainsi, elles permettent la conception d'expériences reproductibles, l'optimisation des applications, la capture efficace des données de provenance des exécutions de workflows, et la reproductibilité des expériences. Nous avons validé notre proposition avec, d'abord, le développement du framework E2Clab qui supporte le cycle complet d’analyse d’une application dans le continuum Edge-to-Cloud, et ensuite, l'utilisation de E2Clab pour l'optimisation Pl@ntNet, une application mondiale d'identification des plantes. La validation expérimentale à grande échelle sur Grid'5000 montre que notre méthodologie s'est avérée utile pour comprendre et améliorer les performances de Pl@ntNet.

Keywords

Edge-to-Cloud Continuum Reproducibility Methodology Workflows E2Clab Edge Cloud

Continuum Edge-to-Cloud Reproductibilité Méthodologie

Domains

Distributed, Parallel, and Cluster Computing [cs.DC] Databases [cs.DB] Machine Learning [cs.LG] Networking and Internet Architecture [cs.NI] Performance [cs.PF]

Fichier principal

main.pdf (9.95 Mo)

E2Clab-architecture.pdf (221.9 Ko)

E2Clab-cli.pdf (15.75 Ko)

E2Clab-lyrs-svcs.pdf (340.5 Ko)

E2Clab-network.pdf (200 Ko)

INSA.png (40.2 Ko)

KheOps-archi.pdf (665.11 Ko)

cpu_overhead.pdf (39.76 Ko)

e2clab-prov-v2.pdf (353.85 Ko)

e2clab-prov.pdf (353.84 Ko)

exp-repro.png (20.37 Ko)

exp-size.png (16.48 Ko)

exp_setup.pdf (229.82 Ko)

fig_e2clab_arch.png (198.69 Ko)

fig_optimization-edge-to-cloud.png (230.32 Ko)

fig_plantnet_new_users.png (58.63 Ko)

fig_response_time.png (83.2 Ko)

fig_result_baseline-vs-best-user-response-time.png (214.95 Ko)

fig_result_baseline-vs-best2-user-response-time.png (254.82 Ko)

fig_result_sa_extract.png (180.42 Ko)

fig_result_sa_extract_pt.png (459.83 Ko)

fig_result_sa_simsearch.png (192.99 Ko)

fig_result_sa_simsearch_pt.png (485.78 Ko)

fig_sa_extract_memory_used.png (111.08 Ko)

fig_sa_extract_memory_used_v2.png (108.09 Ko)

fig_sa_extract_threadpool_extract.png (542 Ko)

fig_sa_extract_threadpool_simsearch.png (618.68 Ko)

fig_sa_extract_usage.png (145.6 Ko)

fig_sa_extract_usage_percent.png (255.81 Ko)

fig_sa_extract_usage_percent_v2.png (267.67 Ko)

fig_sa_extract_usage_v2.png (160.92 Ko)

fig_sa_simsearch_threadpool_extract.png (514.99 Ko)

fig_sa_simsearch_threadpool_simsearch.png (630.14 Ko)

image-fond-dos.png (50.96 Ko)

image-fond-dos2.png (44.32 Ko)

image-fond-garde.png (256.16 Ko)

kheops-context-v3.pdf (551.16 Ko)

kheops-context-v4.pdf (559.23 Ko)

kheops-exp-repro.png (20.37 Ko)

kheops-plot_monitoring_cpu-chi.pdf (12.49 Ko)

kheops-plot_monitoring_cpu-g5k.pdf (12.49 Ko)

kheops-plot_monitoring_mem-chi.pdf (12.43 Ko)

kheops-plot_monitoring_mem-g5k.pdf (12.89 Ko)

kheops-plot_monitoring_net-chi.pdf (13.94 Ko)

kheops-plot_monitoring_net-g5k.pdf (13.94 Ko)

kheops-plot_processing_time_15Kbit-chi.pdf (13.6 Ko)

kheops-plot_processing_time_15Kbit-g5k.pdf (14.58 Ko)

kheops-plot_processing_time_25Kbit-chi.pdf (13.6 Ko)

kheops-plot_processing_time_25Kbit-g5k.pdf (14.58 Ko)

kheops-xp-processes.pdf (278.33 Ko)

kheops-xp-setup.pdf (311.42 Ko)

logo.png (99.64 Ko)

memory_overhead.pdf (39.38 Ko)

methodology-optimization.pdf (317.78 Ko)

methodology.pdf (488.58 Ko)

methodology_extended.png (317.02 Ko)

network_overhead.pdf (37.08 Ko)

plantnet-geographic-scope.pdf (356.83 Ko)

power_overhead.pdf (45.62 Ko)

provlight-arch.pdf (23.31 Ko)

research-gap.png (278.08 Ko)

workflow.png (111.6 Ko)

workload.pdf (9.29 Ko)

Origin : Files produced by the author(s)

Daniel Rosendo : Connect in order to contact the contributor

https://hal.science/tel-04167278

Submitted on : Thursday, July 20, 2023-3:26:11 PM

Last modification on : Wednesday, May 15, 2024-3:24:22 AM

Dates and versions

tel-04167278 , version 1 (20-07-2023)

tel-04167278 , version 2 (14-05-2024)

Identifiers

HAL Id : tel-04167278 , version 1

Cite

Daniel Rosendo. Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum. Distributed, Parallel, and Cluster Computing [cs.DC]. INSA RENNES, 2023. English. ⟨NNT : ⟩. ⟨tel-04167278v1⟩

Export

BibTeX XML-TEI Dublin Core DC Terms EndNote DataCite

Collections

GRID5000 SILECS ANR

165 View

152 Download

Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Méthodologies pour l’Analyse Reproductible des Workflows Edge-to-Cloud

Abstract

Keywords

Domains

Dates and versions

Identifiers

Cite

Export

Collections

Share