IA & Data

Kafka - Développeur

3 jour(s) • 21h

Description

Objectif de formation : Acquérir une compréhension des cas d'utilisation d'Apache Kafka et se familiariser avec les différentes APIs de Kafka.

Comprendre l'architecture en cluster de Kafka
Différencier les différents cas d'utilisation de Kafka
Utiliser les APIs de Kafka pour la production et la consommation de messages
Utiliser les APIs Kafka Connect et Kafka Admin
Explorer les APIs Kafka Streams et le serveur kSQLDB
Configurer les topics en fonction des exigences de fiabilité et de débit de vos applications

Architectes

Développeurs

Connaitre le développement Java

Origine et évolution d'Apache Kafka : histoire et objectifs du projet
Cas d'utilisation de Kafka dans différents contextes
Composants clés du système Kafka : ZooKeeper, brokers, topics, consumers, producers
Présentation des différentes APIs disponibles

Le rôle de l'ensemble ZooKeeper dans un cluster Kafka
Connexion et utilisation de zkCli.sh pour interagir avec ZooKeeper
Configuration d'un broker Kafka
Analyse des traces d'un broker
Structure de stockage du commit log dans Kafka
Présentation des utilitaires fournis avec la distribution de Kafka
Travaux pratiques : Démarrage d'un ensemble ZooKeeper, connexion à un cluster Kafka à trois nœuds, création de topics, envoi et réception de messages en utilisant les commandes en ligne

Présentation des APIs pour les producteurs (Producers API) et les consommateurs (Consumers API)
Exemples de frameworks utilisant Kafka
Utilisation de l'API Connect pour intégrer Kafka à d'autres systèmes
Présentation de l'API AdminClient pour la gestion des ressources Kafka
Introduction à l'API Streams pour le traitement des flux de données en temps réel
Travaux pratiques : Développement d'un producteur de messages, puis d'un consommateur, utilisation d'un framework réactif, utilisation de l'API Connect avec ELK (Elasticsearch, Logstash, Kibana)

Stockage des partitions, segments et gestion de la rétention des données dans Kafka
Réplication des partitions : rôles des leaders, des followers et des ISR (In-Sync Replicas)
Fonctionnement du contrôleur Kafka, arrêt d'un broker leader ou d'un follower
Ajout d'un nouveau broker dans un cluster Kafka existant
Assurer la fiabilité de la production et de la consommation des messages
Présentation des sémantiques de livraison : Au plus une fois (At Most Once), Au moins une fois (At Least Once), Une seule fois (Exactly Once)
Outils de validation pour garantir la transmission des messages
Travaux pratiques : Implémentation des différentes sémantiques de livraison, tests avec redémarrage de brokers et changement de consommateur