FLUENTD : LE COLLECTEUR DE DONNÉES OPEN-SOURCE (4-146)
Description
Objectif général de la formation: À l’issue de cette formation, les participants seront capables d’installer, configurer et utiliser Fluentd pour gérer des pipelines de données, tout en intégrant la solution dans des environnements Kubernetes et en monitorant les données efficacement. Modalité : Toutes les modalités (présentiel, classe virtuelle et hybride) sont possibles Lieu possible de réalisation : Locaux du bénéficiaire ou locaux d’Ascent Formation, en France métropolitaine et dans les DROM-COM Nombre maximal de participants : 20 Niveau SAME visé : Maîtrise (M) Compétences visées Installer et configurer Fluentd sur différents environnements. Déployer et intégrer Fluentd dans un cluster Kubernetes. Automatiser la gestion des données et leur transformation via des pipelines. Monitorer et résoudre les problèmes liés aux flux de données avec Fluentd.
Objectifs pédagogiques
- Comprendre les principes de Fluentd et ses cas d’utilisation.
- Installer et configurer Fluentd sur des environnements Linux.
- Gérer les pipelines de données via des manipulations courantes.
- Déployer Fluentd dans un environnement Kubernetes.
- Monitorer les logs et résoudre les problèmes fréquents avec Fluentd.
Public concerné
Prérequis
Déroulé du programme
Jour 1 : Introduction et configuration de Fluentd (6 heures)
- Introduction à Fluentd et ses concepts clés (2 heures) :
Rôles et avantages de Fluentd dans la gestion des pipelines de données.
Architecture et composants principaux : input, output, buffer, filter.
Présentation des cas d’utilisation courants.
Travaux pratiques : Installation de Fluentd sur une machine Linux et exploration des composants.
- Configuration de base de Fluentd (2 heures) :
Configuration des plugins pour les sources et destinations de données.
Utilisation des buffers et gestion des transformations simples.
Formatage et parsing des données.
Travaux pratiques : Configurer Fluentd pour collecter et transmettre des logs à une destination (ex. Elasticsearch).
- Déploiement avec Kubernetes (2 heures) :
Intégration de Fluentd dans un cluster Kubernetes.
Gestion des logs des pods et nœuds via Fluentd.
Création de fichiers de configuration pour Kubernetes.
Travaux pratiques : Déployer Fluentd dans un cluster Kubernetes pour monitorer les logs des pods.
Jour 2 : Gestion avancée des pipelines et monitoring (6 heures)
- Gestion des pipelines de données (2 heures) :
Manipulations courantes : jointures, requêtage, formatage avancé.
Automatisation des flux de données entre plusieurs plateformes.
Intégration avec des systèmes tiers : bases de données, stockage cloud, et outils d’analyse.
Travaux pratiques : Configurer un pipeline complet avec Fluentd pour unifier des logs provenant de plusieurs plateformes.
- Monitoring et troubleshooting (2 heures) :
Suivi des performances et des erreurs avec Fluentd.
Utilisation des outils de monitoring (Prometheus, Grafana).
Résolution des problèmes fréquents : buffers pleins, erreurs de parsing, etc.
Travaux pratiques : Monitorer les performances d’un pipeline Fluentd et résoudre des erreurs simulées.
- Synthèse et étude de cas pratique (2 heures) :
Étude d’un scénario réel : mise en place d’un pipeline Fluentd dans un environnement complexe.
Analyse des résultats et partage des bonnes pratiques.
Travaux pratiques : Proposer une solution complète basée sur Fluentd pour un cas d’entreprise fictif.
Informations
Durée
2 jour(s)
12h
Sur demande
