• Présentation du projet Kafka : historique, fonctionnalités, principe de fonctionnement
• Présentation de l’architecture et du rôle de chaque composant : broker, producteur, consommateur
• Connexion avec ZooKeeper

• Recommandations d’installation et prérequis
• Différentes distributions disponibles
• Ensemble ZooKeeper : rôle, dimensionnement, client
• Cluster Kafka
• Paramétrage d’un broker Kafka, traces d’un broker, structure de stockage du commit log
• Utilitaires fournis par la distribution

Travaux pratiques : Installation, mise en place de scripts pour démarrer/arrêter une architecture de cluster Kafka. Création de topics et production/consommation de messages à l’aide des utilitaires.

• Kafka comme message Broker
• Kafka et Kafka Connect pour le traitement d’événements en temps réel
• Kafka comme référentiel des données d’entreprise

Travaux pratiques : Exécution d’applications implémentant les différents cas d’utilisation

• Stockage des partitions, segments et rétention
• Réplication, leader, followers, ISR
• Rôle du contrôleur, Arrêt d’un broker leader, d’un follower. Démarrage d’un nouveau broker
• Fiabilité Producteur, Fiabilité consommateur
• Sémantiques At Most Once, At Least Once, Exactly Once
• Outils de validation d’une garantie de transmission