Aperçu du cours
Objectifs de formation : à l’issue de la formation, le stagiaire sera capable de mettre en œuvre l’outil d’Apache Kafka pour utiliser un système de messagerie distribuée à haut débit.
Prérequis
- Avoir des notions d'architectures applicatives en entreprise & des connaissances des protocoles réseaux
- Détenir de bonnes connaissances en Java ou autre langage
- Des connaissances en Spring ou Node.js sont recommandées
Objectifs pédagogiques
- Comprendre le fonctionnement de Kafka et les principes de communications inter applications
- Acquérir les bonnes pratiques de distribution de messages
- Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
- Appréhender les différentes APIs de Kafka
- Mettre en œuvre KSQL
- Travailler en sécurité avec Kafka
Public ciblé
- Architectes
- Chefs de projet
- Développeurs
- Équipes DevOps
Programme de formation
-
Introduction à Kafka
-
Collecte de données
-
Lien avec le Big Data
-
Le traitement des données en streaming
-
-
Présentation des principes fondamentaux de l'outil
-
Producers
-
Consumers
-
Brokers
-
Zookeeper
-
Comparatif avec Message Oriented Middleware
-
-
Architecture Kafka
-
Logs files
-
Replicas
-
Partitions
-
Consumers groups
-
-
Développement
-
Écriture d’un producer
-
Écriture d’un Partitioner
-
Écriture d’un consumer
-
Gestion d’offset
-
Validation des lectures
-
-
Gestion de schémas
-
Système de sérialisation (AVRO)
-
Schema registry
-
Versionning des schémas
-
-
Kafka Connect
-
Introduction à l’outil
-
Les types de connecteurs
-
Mode Standalone & Distribués
-
Alternatives : NIFI, ETL, Flume
-
-
Administration
-
Définitions & pré-requis
-
Installation
-
Historique des versions de Kafka & compatibilité
-
Réglages des topics
-
Politiques de log retention
-
Compactage
-
Paramétrage des partitions
-
Sécurité sous Kafka
-
-
Kafka Streaming & KSQL
-
Rôles, intérêts & limites
-
Création d’une application
-
Gestion des streams
-
Mise en oeuvre de KSQL
-
Instructeur
