• Traitements temps réel
• Architectures LAMBDA
• Architectures KAPPA
• Architectures SMACK

Travaux pratiques :

Étude de l’implémentation d’une architecture KAPPA pour Spark et Strom

• Présentation de Kafka Producers, Brokers, Consumers
• Fichiers journaux
• Schémas Avro
• Utilisation de ZooKeeper

Travaux pratiques

Étude de la configuration de Kafka dans l’architecture KAPPA

• Détermination de l’environnement de développement
• Construction de projets sur Storm
• Présentation des composants Storm
• Présentation des flux Storm
• Modèle de données
• Rôles des Nimbus et ZooKeeper

Travaux pratiques

Implémentation de l’architecture KAPPA pour Storm

• Programmation de services avec Clojure, Java, Python
• Cycle de vie d’un message
• API Storm : fiabilité
• Déploiement de la fiabilité pour une application utilisant le Big Data

Travaux pratiques :

Implémentation d’un projet de traitement des réseaux sociaux en temps réel dans l’architecture KAPPA

• Versionning de Spark (Scala, Python, R et Java)
• Comparatif avec Storm
• Tour d’horizon des modules de Spark
• Présentation des différents types d’architecture : Standalone, Apache Mesos ou Hadoop YARN

Travaux pratiques

Etude de l’implémentation de l’architecture SMACK pour Spark

• Présentation des RDD
• Création, manipulation et réutilisation des RDD
• Accumulateurs & variables broadcastées
• Principe de fonctionnement
• Présentation des différents types de sources
• Comparatif avec Apache Storm

Travaux pratiques :

Implémentation d’un projet de traitement des réseaux sociaux en temps réel

• Tour d’horizon des outils de streaming de l’écosystème (Storm, Spark Streaming, Flink, Samza)
• Focus sur l’architecture Samza

Travaux pratiques :

Étude de l’implémentation de l’architecture KAPPA avec Samza