Allocation équitable de tâches pour l'analyse de données massives : MapReduce et système multi-agent

Résumé : De nombreuses entreprises utilisent des applications MapReduce pour le traitement de données massives. Afin d'optimiser l'allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse du job. Cependant, ces systèmes ne sont pas efficaces durant la phase d'apprentissage ou quand un nouveau type de tâches ou de données apparaît. Dans cet article, nous présentons un système multi-agent adaptatif pour l'analyse de données massives avec MapReduce. Nous ne prétraitons pas les données mais nous adoptons une approche dynamique où les agents reducers interagissent au cours de l'exécution. Pour réduire la charge de travail du reducer le plus chargé, et donc le temps d'exécution, nous proposons une réallocation des tâches qui s'appuie sur la négociation. Nous prouvons que le processus de négociation se termine et mène à une meilleure répartition des tâches. Nos expérimentations sur des données réelles confirment la valeur ajoutée de la négociation.
Type de document :
Article dans une revue
Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, Lavoisier, 2017, 31 (4), pp.401-426
Liste complète des métadonnées

https://hal.inria.fr/hal-01570176
Contributeur : Cristal Equipe Smac <>
Soumis le : vendredi 28 juillet 2017 - 15:53:07
Dernière modification le : jeudi 11 janvier 2018 - 06:27:22

Identifiants

  • HAL Id : hal-01570176, version 1

Citation

Quentin Baert, Anne-Cécile Caron, Jean-Christophe Routier, Maxime Morge. Allocation équitable de tâches pour l'analyse de données massives : MapReduce et système multi-agent. Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, Lavoisier, 2017, 31 (4), pp.401-426. 〈hal-01570176〉

Partager

Métriques

Consultations de la notice

106