Formation Spark & Storm - Traitement de données Big Data
Description
Objectif de formation : Comprendre le fonctionnement et les forces des outils Storm et Spark
- Maîtriser les concepts de base du développement d'applications Big Data en temps réel
- Appréhender Spark et Storm
- Implémenter des systèmes de calcul distribué temps réel de Storm & de Spark
- Gérer des quantités importante de données en temps réel
- Concepteurs
- Développeurs
- Architectes
- Connaissances solides en développement logiciel
- 1
Introduction à l'architecture temps réel
- Traitements temps réel
- Architectures LAMBDA
- Architectures KAPPA
- Architectures SMACK
- Travaux pratiques : Étude de l'implémentation d'une architecture KAPPA pour Spark et Strom
- 2
Présentation de l'architecture Kafka
- Présentation de Kafka Producers, Brokers, Consumers
- Fichiers journaux
- Schémas Avro
- Utilisation de ZooKeeper
- Travaux pratiques : Étude de la configuration de Kafka dans l'architecture KAPPA
- 3
Architecture Apache Storm
- Détermination de l'environnement de développement
- Construction de projets sur Storm
- Présentation des composants Storm
- Présentation des flux Storm
- Modèle de données
- Rôles des Nimbus et ZooKeeper
- Travaux pratiques : Implémentation de l'architecture KAPPA pour Storm
- 4
Traitement des messages Storm
- Programmation de services avec Clojure, Java, Python
- Cycle de vie d'un message
- API Storm : fiabilité
- Déploiement de la fiabilité pour une application utilisant le Big Data
- Travaux pratiques : Implémentation d'un projet de traitement des réseaux sociaux en temps réel dans l'architecture KAPPA
- 5
Architecture d'Apache Spark
- Versionning de Spark (Scala, Python, R et Java)
- Comparatif avec Storm
- Tour d'horizon des modules de Spark
- Présentation des différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN
- Travaux pratiques : Etude de l'implémentation de l'architecture SMACK pour Spark
- 6
Temps réel avec Spark Streaming
- Présentation des RDD
- Création, manipulation et réutilisation des RDD
- Accumulateurs & variables broadcastées
- Principe de fonctionnement
- Présentation des différents types de sources
- Comparatif avec Apache Storm
- Travaux pratiques : Implémentation d'un projet de traitement des réseaux sociaux en temps réel
- 7
Présentation des autres acteurs du marché
- Tour d'horizon des outils de streaming de l'écosystème (Storm, Spark Streaming, Flink, Samza)
- Focus sur l'architecture Samza
- Travaux pratiques : Étude de l'implémentation de l'architecture KAPPA avec Samza
Ils nous font Confiance
Nos partenaires de confiance
Questions fréquentes
FAQ : Formation Spark & Storm - Traitement de données Big Data
Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.
Formations similaires
IA & DataFormation Migration vers le Cloud
IA & DataFormation Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
IA & DataFormation AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
IA & Data