Aperçu du cours
Objectif de formation : Acquérir une compréhension des cas d’utilisation d’Apache Kafka et se familiariser avec les différentes APIs de Kafka.
Prérequis
- Connaitre le développement Java
Fonctionnalités
- Comprendre l'architecture en cluster de Kafka
- Différencier les différents cas d'utilisation de Kafka
- Utiliser les APIs de Kafka pour la production et la consommation de messages
- Utiliser les APIs Kafka Connect et Kafka Admin
- Explorer les APIs Kafka Streams et le serveur kSQLDB
- Configurer les topics en fonction des exigences de fiabilité et de débit de vos applications
Public ciblé
- Architectes
- Développeurs
Détails
- 8 Sections
- 50 Lessons
- 21 heures
Expand all sectionsCollapse all sections
- Introduction à Apache Kafka (3 heures)4
- 1.1Origine et évolution d’Apache Kafka : histoire et objectifs du projet
- 1.2Cas d’utilisation de Kafka dans différents contextes
- 1.3Composants clés du système Kafka : ZooKeeper, brokers, topics, consumers, producers
- 1.4Présentation des différentes APIs disponibles
- Introduction à Apache Kafka (3 heures)4
- 2.1Origine et évolution d’Apache Kafka : histoire et objectifs du projet
- 2.2Cas d’utilisation de Kafka dans différents contextes
- 2.3Composants clés du système Kafka : ZooKeeper, brokers, topics, consumers, producers
- 2.4Présentation des différentes APIs disponibles
- Prise en main d'un cluster Kafka (6 heures)7
- 3.1Le rôle de l’ensemble ZooKeeper dans un cluster Kafka
- 3.2Connexion et utilisation de zkCli.sh pour interagir avec ZooKeeper
- 3.3Configuration d’un broker Kafka
- 3.4Analyse des traces d’un broker
- 3.5Structure de stockage du commit log dans Kafka
- 3.6Présentation des utilitaires fournis avec la distribution de Kafka
- 3.7Travaux pratiques : Démarrage d’un ensemble ZooKeeper, connexion à un cluster Kafka à trois nœuds, création de topics, envoi et réception de messages en utilisant les commandes en ligne
- Prise en main d'un cluster Kafka (6 heures)7
- 4.1Le rôle de l’ensemble ZooKeeper dans un cluster Kafka
- 4.2Connexion et utilisation de zkCli.sh pour interagir avec ZooKeeper
- 4.3Configuration d’un broker Kafka
- 4.4Analyse des traces d’un broker
- 4.5Structure de stockage du commit log dans Kafka
- 4.6Présentation des utilitaires fournis avec la distribution de Kafka
- 4.7Travaux pratiques : Démarrage d’un ensemble ZooKeeper, connexion à un cluster Kafka à trois nœuds, création de topics, envoi et réception de messages en utilisant les commandes en ligne
- Les APIs de Kafka (6 heures)6
- 5.1Présentation des APIs pour les producteurs (Producers API) et les consommateurs (Consumers API)
- 5.2Exemples de frameworks utilisant Kafka
- 5.3Utilisation de l’API Connect pour intégrer Kafka à d’autres systèmes
- 5.4Présentation de l’API AdminClient pour la gestion des ressources Kafka
- 5.5Introduction à l’API Streams pour le traitement des flux de données en temps réel
- 5.6Travaux pratiques : Développement d’un producteur de messages, puis d’un consommateur, utilisation d’un framework réactif, utilisation de l’API Connect avec ELK (Elasticsearch, Logstash, Kibana)
- Les APIs de Kafka (6 heures)6
- 6.1Présentation des APIs pour les producteurs (Producers API) et les consommateurs (Consumers API)
- 6.2Exemples de frameworks utilisant Kafka
- 6.3Utilisation de l’API Connect pour intégrer Kafka à d’autres systèmes
- 6.4Présentation de l’API AdminClient pour la gestion des ressources Kafka
- 6.5Introduction à l’API Streams pour le traitement des flux de données en temps réel
- 6.6Travaux pratiques : Développement d’un producteur de messages, puis d’un consommateur, utilisation d’un framework réactif, utilisation de l’API Connect avec ELK (Elasticsearch, Logstash, Kibana)
- Réplication et fiabilité (6 heures)8
- 7.1Stockage des partitions, segments et gestion de la rétention des données dans Kafka
- 7.2Réplication des partitions : rôles des leaders, des followers et des ISR (In-Sync Replicas)
- 7.3Fonctionnement du contrôleur Kafka, arrêt d’un broker leader ou d’un follower
- 7.4Ajout d’un nouveau broker dans un cluster Kafka existant
- 7.5Assurer la fiabilité de la production et de la consommation des messages
- 7.6Présentation des sémantiques de livraison : Au plus une fois (At Most Once), Au moins une fois (At Least Once), Une seule fois (Exactly Once)
- 7.7Outils de validation pour garantir la transmission des messages
- 7.8Travaux pratiques : Implémentation des différentes sémantiques de livraison, tests avec redémarrage de brokers et changement de consommateur
- Réplication et fiabilité (6 heures)8
- 8.1Stockage des partitions, segments et gestion de la rétention des données dans Kafka
- 8.2Réplication des partitions : rôles des leaders, des followers et des ISR (In-Sync Replicas)
- 8.3Fonctionnement du contrôleur Kafka, arrêt d’un broker leader ou d’un follower
- 8.4Ajout d’un nouveau broker dans un cluster Kafka existant
- 8.5Assurer la fiabilité de la production et de la consommation des messages
- 8.6Présentation des sémantiques de livraison : Au plus une fois (At Most Once), Au moins une fois (At Least Once), Une seule fois (Exactly Once)
- 8.7Outils de validation pour garantir la transmission des messages
- 8.8Travaux pratiques : Implémentation des différentes sémantiques de livraison, tests avec redémarrage de brokers et changement de consommateur
Instructeur
