Traitement de données Big Data en temps réel avec Spark et Storm (4-091)
Description
Objectif général de la formation : Permettre aux participants de maîtriser le traitement de données massives en temps réel en utilisant les outils Spark et Storm, et d’implémenter des systèmes de calcul distribué performants. Modalité : Toutes les modalités (présentiel, classe virtuelle et hybride) sont possibles Lieu possible de réalisation : Locaux du bénéficiaire ou locaux d’Ascent Formation, en France métropolitaine et dans les DROM-COM Nombre maximal de participants : 20 Niveau SAME visé : Maîtrise (M) Compétences visées : Comprendre les fondamentaux du développement d’applications Big Data en temps réel. Évaluer les fonctionnalités et applications des outils Spark et Storm. Appliquer les systèmes de calcul distribué en temps réel de Spark et Storm. Traiter des volumes importants de données en temps réel.
Objectifs pédagogiques
- Identifier les concepts fondamentaux des systèmes Big Data temps réel.
- Configurer et utiliser Spark Streaming et Apache Storm.
- Implémenter des pipelines de traitement pour des données en temps réel.
- Optimiser les performances des systèmes de calcul distribué.
Public concerné
Prérequis
Déroulé du programme
Jour 1 : Introduction et fondamentaux du traitement Big Data en temps réel (6 heures)
- Concepts clés du traitement temps réel (1 heure)
Définition du Big Data en temps réel et ses applications.
Différences entre traitement batch et traitement en streaming.
Cas d’usage et enjeux industriels.
- Présentation des outils Spark et Storm (2 heures)
Vue d’ensemble de Spark Streaming : architecture et fonctionnalités.
Introduction à Apache Storm : principes et use cases.
Comparaison des deux outils et choix des contextes d’utilisation.
- Développement d’applications Big Data (3 heures)
Configuration des environnements Spark et Storm.
Exploration des API principales pour le traitement des données.
Travaux pratiques : Installation et configuration des outils Spark et Storm.
Jour 2 : Implémentation des systèmes de calcul distribué (6 heures)
- Spark Streaming : traitement des données en temps réel (3 heures)
Concepts et mise en œuvre de RDD et DataFrame.
Traitement de flux avec Spark Streaming.
Travaux pratiques : Création d’une application Spark Streaming pour traiter des données en temps réel.
- Apache Storm : pipelines de données temps réel (3 heures)
Architecture et fonctionnement des topologies Storm.
Gestion des flux et parallélisme.
Travaux pratiques : Développement d’un pipeline Storm pour des flux de données.
Jour 3 : Optimisation et mise en œuvre avancée (6 heures)
- Optimisation des systèmes de calcul distribué (3 heures)
Stratégies de partitionnement et gestion des ressources.
Surveillance et débogage des performances.
Travaux pratiques : Optimisation d’une application Spark ou Storm.
- Intégration et cas d’étude final (3 heures)
Intégration avec des sources de données : Kafka, bases NoSQL.
Étude de cas : mise en œuvre complète d’un système temps réel.
Travaux pratiques : Réalisation d’un projet de bout en bout avec restitution.
Informations
Durée
3 jour(s)
18h
2200 € HT
HT
Prochaines sessions
Formations similaires
Migration vers le Cloud
Sur demande
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
Sur demande
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
Sur demande
Analyse bayésienne (4-107)
Sur demande