Présentation du projet Kafka : historique, fonctionnalités, principe de fonctionnement

Présentation de l’architecture et du rôle de chaque composant : broker, producteur, consommateur

Connexion avec ZooKeeper

Recommandations d’installation et prérequis

Différentes distributions disponibles

Ensemble ZooKeeper : rôle, dimensionnement, client

Cluster Kafka

Paramétrage d’un broker Kafka, traces d’un broker, structure de stockage du commit log

Utilitaires fournis par la distribution

Travaux pratiques : Installation, mise en place de scripts pour démarrer/arrêter une architecture de cluster Kafka. Création de topics et production/consommation de messages à l’aide des utilitaires.

Kafka comme message Broker

Kafka et Kafka Connect pour le traitement d’événements en temps réel

Kafka comme référentiel des données d’entreprise

Travaux pratiques : Exécution d’applications implémentant les différents cas d’utilisation

Stockage des partitions, segments et rétention

Réplication, leader, followers, ISR

Rôle du contrôleur, Arrêt d’un broker leader, d’un follower. Démarrage d’un nouveau broker

Fiabilité Producteur, Fiabilité consommateur

Sémantiques At Most Once, At Least Once, Exactly Once

Outils de validation d’une garantie de transmission