Aperçu du cours
Objectif de formation : Savoir administrer un cluster Kafka
Prérequis
- Connaitre l’administration système
Objectifs pédagogiques
- Comprendre les fonctionnalités fournies par une infrastructure Kafka
- Déployer un cluster Kafka, utiliser les commandes en ligne associées
- Assurer des niveaux de fiabilité pour les topics Kafka
- Mettre en place la sécurité d'un cluster Kafka
- Intégrer les métriques Kafka dans des outils de visualisation tels que Prometheus/Grafana
- Avoir une vue d'ensemble des outils d'administration disponibles
Public ciblé
- Administrateurs
- Architectes
Programme de formation
-
Introduction (3 heures)
-
Présentation du projet Kafka : historique, fonctionnalités, principe de fonctionnement
-
Présentation de l’architecture et du rôle de chaque composant : broker, producteur, consommateur
-
Connexion avec ZooKeeper
-
-
Installation (6 heures)
-
Recommandations d’installation et prérequis
-
Différentes distributions disponibles
-
Ensemble ZooKeeper : rôle, dimensionnement, client
-
Cluster Kafka
-
Paramétrage d’un broker Kafka, traces d’un broker, structure de stockage du commit log
-
Utilitaires fournis par la distribution
-
Travaux pratiques : Installation, mise en place de scripts pour démarrer/arrêter une architecture de cluster Kafka. Création de topics et production/consommation de messages à l’aide des utilitaires.
-
-
Cas d'utilisation de Kafka (3 heures)
-
Kafka comme message Broker
-
Kafka et Kafka Connect pour le traitement d’événements en temps réel
-
Kafka comme référentiel des données d’entreprise
-
Travaux pratiques : Exécution d’applications implémentant les différents cas d’utilisation
-
-
Réplication et fiabilité (6 heures)
-
Stockage des partitions, segments et rétention
-
Réplication, leader, followers, ISR
-
Rôle du contrôleur, Arrêt d’un broker leader, d’un follower. Démarrage d’un nouveau broker
-
Fiabilité Producteur, Fiabilité consommateur
-
Sémantiques At Most Once, At Least Once, Exactly Once
-
Outils de validation d’une garantie de transmission
-
Instructeur
