s'authentifier
version française rss feed

hal-00684866, version 1

Towards Scalable Data Management for Map-Reduce-based Data-Intensive Applications on Cloud and Hybrid Infrastructures

Gabriel Antoniu (, http://www.irisa.fr/kerdata/doku.php?id=people:gabriel.antoniu) 1, Julien Bigot () e2, Christophe Blanchet 3, Luc Bougé () a1, François Briant 4, Franck Cappello 567, Alexandru Costan () 1, Frédéric Desprez () b2, Gilles Fedak () e2, Sylvain Gault e2, Kate Keahey () c8, Bogdan Nicolae () e56, Christian Pérez () e2, Anthony Simonet e2, Frédéric Suter () d9, Bing Tang e2, Raphael Terreux 3

1st International IBM Cloud Academy Conference - ICA CON 2012 (2012)

Résumé : As Map-Reduce emerges as a leading programming paradigm for data-intensive computing, today's frameworks which support it still have substantial shortcomings that limit its potential scalability. In this paper we discuss several directions where there is room for such progress: they concern storage efficiency under massive data access concurrency, scheduling, volatility and fault-tolerance. We place our discussion in the perspective of the current evolution towards an increasing integration of large-scale distributed platforms (clouds, cloud federations, enterprise desktop grids, etc.). We propose an approach which aims to overcome the current limitations of existing Map-Reduce frameworks, in order to achieve scalable, concurrency-optimized, fault-tolerant Map-Reduce data processing on hybrid infrastructures. This approach will be evaluated with real-life bio-informatics applications on existing Nimbus-powered cloud testbeds interconnected with desktop grids.

  • Domaine : Informatique/Calcul parallèle, distribué et partagé
  • Mots-clés : MapReduce – cloud computing – data-intensive computing – hybrid infrastructures – BlobSeer – BitDew – Nimbus – HLCM – Grid'5000
 
  • hal-00684866, version 1
  • oai:hal.inria.fr:hal-00684866
  • Contributeur : 
  • Soumis le : Vendredi 20 Avril 2012, 11:43:30
  • Dernière modification le : Jeudi 6 Septembre 2012, 16:27:27
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...