Traitement distribué

Se connecter pour s'inscrire

Votre progression

Continuez pour débloquer la suite !
0 / 0 étapes complétées 0
%

Syllabus

  1. Description

  2. Objectifs

  3. Validations de compétences

  4. Public cible

    Aucun public cible spécifié pour ce module.

  5. Besoins techniques

  6. Prérequis

    • Aucun prérequis

  7. Niveau

  8. Historique du module

    Aucune action enregistrée

Comprendre le traitement distribué

Le traitement distribué découpe un traitement volumineux en tâches exécutées sur plusieurs machines afin d’obtenir un temps de calcul maîtrisé.

  • Découper les données en partitions et distribuer les tâches sur les unités de calcul.
  • Organiser les étapes de transformation, de transfert entre nœuds et d’agrégation.
  • Prévoir la reprise des tâches, la réplication des données et la détection des échecs.
  • Mesurer le parallélisme et l’effet du déplacement des données.

Atelier de partitionnement

Découper un traitement d’événements en partitions, exécuter les tâches sur plusieurs workers et mesurer le coût du déplacement des données.

  1. Choisir une clé de partition qui équilibre la charge.
  2. Simuler l’échec d’un worker et vérifier la reprise.
  3. Comparer le temps total avec et sans parallélisme.

Exercices, examens et projets

Exercice

Atelier Big Data

Construire un petit pipeline de données et documenter ses choix.

Obligatoire Consulter
Examen

Examen Big Data

Évaluer la compréhension de l'architecture et des outils.

Obligatoire Consulter
Projet

Projet fil rouge Big Data

Livrer un pipeline reproductible avec ingestion, stockage et restitution.

Livrables :

  • Pipeline
  • Schéma de données
  • Documentation
Obligatoire Consulter