Description
Objectif de formation : Savoir administrer un cluster Kafka
Objectifs pédagogiques
- Comprendre les fonctionnalités fournies par une infrastructure Kafka
- Déployer un cluster Kafka, utiliser les commandes en ligne associées
- Assurer des niveaux de fiabilité pour les topics Kafka
- Mettre en place la sécurité d'un cluster Kafka
- Intégrer les métriques Kafka dans des outils de visualisation tels que Prometheus/Grafana
- Avoir une vue d'ensemble des outils d'administration disponibles
Public concerné
Administrateurs
Architectes
Prérequis
Connaitre l’administration système
Déroulé du programme
1
Introduction (3 heures)
3h
- Présentation du projet Kafka : historique, fonctionnalités, principe de fonctionnement
- Présentation de l'architecture et du rôle de chaque composant : broker, producteur, consommateur
- Connexion avec ZooKeeper
2
Installation (6 heures)
6h
- Recommandations d'installation et prérequis
- Différentes distributions disponibles
- Ensemble ZooKeeper : rôle, dimensionnement, client
- Cluster Kafka
- Paramétrage d'un broker Kafka, traces d'un broker, structure de stockage du commit log
- Utilitaires fournis par la distribution
- Travaux pratiques : Installation, mise en place de scripts pour démarrer/arrêter une architecture de cluster Kafka. Création de topics et production/consommation de messages à l'aide des utilitaires.
3
Cas d'utilisation de Kafka (3 heures)
3h
- Kafka comme message Broker
- Kafka et Kafka Connect pour le traitement d'événements en temps réel
- Kafka comme référentiel des données d'entreprise
- Travaux pratiques : Exécution d'applications implémentant les différents cas d'utilisation
4
Réplication et fiabilité (6 heures)
6h
- Stockage des partitions, segments et rétention
- Réplication, leader, followers, ISR
- Rôle du contrôleur, Arrêt d’un broker leader, d'un follower. Démarrage d'un nouveau broker
- Fiabilité Producteur, Fiabilité consommateur
- Sémantiques At Most Once, At Least Once, Exactly Once
- Outils de validation d'une garantie de transmission
- Travaux pratiques : Manipulation des partitions Kafka, compréhension des segments et de la rétention des données. Mise en place de la réplication avec des rôles de leader, followers, et ISR (In-Sync Replicas). Compréhension du rôle du contrôleur Kafka, arrêt d'un broker leader ou d'un follower, et démarrage d'un nouveau broker. Assurer la fiabilité des producteurs et des consommateurs Kafka. Implémentation des différentes sémantiques de livraison (At Most Once, At Least Once, Exactly Once). Utilisation d'outils pour la validation de la garantie de transmission des messages
Informations
Durée
3 jour(s)
21h
Tarif
2100 € HT
HT
Formations similaires
IA & Data
Migration vers le Cloud
2 jour(s)
Sur demande
IA & Data
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
3 jour(s)
Sur demande
IA & Data
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
1 jour(s)
Sur demande
IA & Data
Analyse des données avec Microsoft Power BI (4-167)
3 jour(s)
2200 € HT