IA & Data

Formation Traitement de données Big Data en temps réel avec Spark et Storm (4-091)

3 jour(s) • 18h

Éligible OPCO

8,8/10 avis apprenants

Description

Objectif général de la formation : Permettre aux participants de maîtriser le traitement de données massives en temps réel en utilisant les outils Spark et Storm, et d’implémenter des systèmes de calcul distribué performants. Modalité : Toutes les modalités (présentiel, classe virtuelle et hybride) sont possibles Lieu possible de réalisation : Locaux du bénéficiaire ou locaux d’Ascent Formation, en France métropolitaine et dans les DROM-COM Nombre maximal de participants : 20 Niveau SAME visé : Maîtrise (M) Compétences visées : Comprendre les fondamentaux du développement d’applications Big Data en temps réel. Évaluer les fonctionnalités et applications des outils Spark et Storm. Appliquer les systèmes de calcul distribué en temps réel de Spark et Storm. Traiter des volumes importants de données en temps réel.

Identifier les concepts fondamentaux des systèmes Big Data temps réel.
Configurer et utiliser Spark Streaming et Apache Storm.
Implémenter des pipelines de traitement pour des données en temps réel.
Optimiser les performances des systèmes de calcul distribué.

Développeurs et ingénieurs Big Data.
Data engineers travaillant sur des flux de données en temps réel.
Chefs de projet impliqués dans la gestion de données massives.

Connaissances de base en programmation et en systèmes distribués.
Expérience en manipulation de données massives (préférée).

1
Jour 1 : Introduction et fondamentaux du traitement Big Data en temps réel (6 heures)
- Concepts clés du traitement temps réel (1 heure)
2
Définition du Big Data en temps réel et ses applications.
3
Différences entre traitement batch et traitement en streaming.
4
Cas d’usage et enjeux industriels.
- Présentation des outils Spark et Storm (2 heures)
5
Vue d’ensemble de Spark Streaming : architecture et fonctionnalités.
6
Introduction à Apache Storm : principes et use cases.
7
Comparaison des deux outils et choix des contextes d’utilisation.
- Développement d’applications Big Data (3 heures)
8
Configuration des environnements Spark et Storm.
9
Exploration des API principales pour le traitement des données.
10
Travaux pratiques : Installation et configuration des outils Spark et Storm.
11
Jour 2 : Implémentation des systèmes de calcul distribué (6 heures)
- Spark Streaming : traitement des données en temps réel (3 heures)
12
Concepts et mise en œuvre de RDD et DataFrame.
13
Traitement de flux avec Spark Streaming.
14
Travaux pratiques : Création d’une application Spark Streaming pour traiter des données en temps réel.
- Apache Storm : pipelines de données temps réel (3 heures)
15
Architecture et fonctionnement des topologies Storm.
16
Gestion des flux et parallélisme.
17
Travaux pratiques : Développement d’un pipeline Storm pour des flux de données.
18
Jour 3 : Optimisation et mise en œuvre avancée (6 heures)
- Optimisation des systèmes de calcul distribué (3 heures)
19
Stratégies de partitionnement et gestion des ressources.
20
Surveillance et débogage des performances.
21
Travaux pratiques : Optimisation d’une application Spark ou Storm.
- Intégration et cas d’étude final (3 heures)
22
Intégration avec des sources de données : Kafka, bases NoSQL.
23
Étude de cas : mise en œuvre complète d’un système temps réel.
24
Travaux pratiques : Réalisation d’un projet de bout en bout avec restitution.

Ils nous font Confiance

Nos partenaires de confiance

Questions fréquentes

FAQ : Formation Traitement de données Big Data en temps réel avec Spark et Storm (4-091)

Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.