IA & Data

Trino et Apache Iceberg : déploiement, administration et optimisation d'un Lakehouse

3 jour(s) • 21h

Description

À l'issue de la formation, le stagiaire sera capable de comprendre l'architecture d'une plateforme Lakehouse fondée sur Trino et Apache Iceberg, de déployer ses composants, d'assurer son administration et sa maintenance courantes, de diagnostiquer les incidents et d'optimiser les performances. La formation est organisée autour de trois axes : comprendre (architecture et concepts), administrer (déploiement, sécurité et maintenance), optimiser (performances, observabilité et diagnostic). Un fil rouge pratique permet de manipuler une plateforme Trino/Iceberg représentative d'un environnement de production.

Objectifs pédagogiques

Situer Trino et Iceberg dans une architecture Lakehouse et comprendre leurs rôles respectifs
Comprendre les formats de stockage orientés colonnes et la distinction format de table / format de fichier
Maîtriser l'architecture de Trino : connecteurs, catalogues, exécution distribuée, lecture des plans
Maîtriser l'architecture d'Iceberg : métadonnées, snapshots, évolution de schéma, transactions, maintenance
Déployer, sécuriser et administrer une plateforme Trino/Iceberg
Diagnostiquer les incidents et optimiser les requêtes, l'organisation des données et la mémoire

Public concerné

Développeurs Java avec responsabilités DevOps, Profils en charge de la maintenance et de l'évolution d'une plateforme de données Trino/Iceberg, Exploitants amenés à administrer, diagnostiquer et optimiser un Lakehouse existant. Cette formation s'adresse à des profils qui travaillent déjà sur une application reposant sur Trino et Iceberg. Elle vise la montée en compétence sur l'exploitation : comprendre l'architecture existante, déployer les composants, assurer l'administration quotidienne, diagnostiquer les incidents et optimiser les performances. Elle ne vise pas à former des spécialistes du Big Data.

Prérequis

Maîtrise du langage SQL, Expérience du développement Java et de pratiques DevOps, Familiarité avec les conteneurs (Docker) et notions de stockage objet, Travailler ou être amené à travailler sur une plateforme intégrant Trino et Iceberg

Déroulé du programme

Jour 1 — Comprendre : architecture Lakehouse, stockage et Trino

Introduction au Data Lakehouse (cadrage rapide)

• Positionnement de Trino et Iceberg dans une plateforme décisionnelle moderne

• Architecture découplée stockage / compute / métadonnées

• Rappel cadrant des apports du Lakehouse (sans reprise des fondamentaux, public déjà au contact de la techno)

Les formats de stockage

• Principes des formats orientés colonnes : Parquet, Avro, ORC

• Distinction format de fichier (Parquet/ORC/Avro) et format de table (Iceberg)

• Organisation des données et impact sur les performances de lecture

Apache Trino : architecture et exécution

• Architecture : coordinateur, workers, modèle d'exécution distribuée

• Connecteurs et catalogues : principe et configuration

• Rôle de Trino vis-à-vis d'Iceberg : Trino interroge et manipule des tables Iceberg via connecteur et catalogue, il ne les stocke pas

• Travaux pratiques (fil rouge, étape 1) : prise en main de la plateforme, exploration de l'architecture Trino

SQL avec Trino

• SQL utilisateur : fonctions, jointures, agrégations, CTE, fonctions de fenêtrage, types complexes

• SQL d'exploitation : EXPLAIN, EXPLAIN ANALYZE, lecture des plans distribués, stages et tasks

• Bonnes pratiques d'écriture des requêtes

• Travaux pratiques (fil rouge, étape 2) : exécution de requêtes analytiques sur plusieurs sources, lecture d'un plan d'exécution

Jour 2 — Comprendre et administrer : Iceberg, déploiement, sécurité

Apache Iceberg : architecture et fonctionnement

• Architecture Iceberg : couches de métadonnées, manifestes, snapshots

• Distinction fichiers de données / fichiers de métadonnées / catalogue / moteur de calcul

• Évolution de schéma et transactions ACID

• Compatibilité multi-moteurs : ce que Trino sait faire avec Iceberg, ce qui relève plutôt de Spark/Flink

• Travaux pratiques (fil rouge, étape 3) : création et manipulation de tables Iceberg, gestion de l'évolution de schéma

Catalogues Iceberg

• Rôle du catalogue dans la découverte et la gouvernance des tables

• Panorama des options : Hive Metastore, AWS Glue, REST Catalog, Nessie, JDBC

• Choix du catalogue JDBC adossé à PostgreSQL comme support pédagogique simple et local ; transposabilité aux autres catalogues en production

• Travaux pratiques (fil rouge, étape 4) : configuration d'un catalogue Iceberg JDBC/PostgreSQL

Déploiement et administration

• Déploiement pédagogique avec Docker Compose : composants, dépendances, configuration; principes transposables à un déploiement industrialisé, sans couvrir l'administration Kubernetes

• Administration mémoire de Trino : mémoire JVM, mémoire utilisateur, mémoire système ; max heap size, query.max-memory-per-node ; spill-to-disk ; lien entre requêtes, jointures, cardinalité et consommation mémoire ; symptômes (OOM JVM, requête tuée, worker instable)

• Travaux pratiques (fil rouge, étape 5) : déploiement de la plateforme et configuration mémoire de Trino

Sécurité et accès

• Authentification Trino

• Autorisations : accès aux catalogues, schémas et tables

• Séparation des rôles administrateur / utilisateur / compte de service

• Accès au stockage objet et points d'attention en environnement multi-sources

Jour 3 — Optimiser : maintenance, performances, observabilité et diagnostic

Maintenance des tables Iceberg

• Compaction et réécriture des fichiers de données

• Expiration des snapshots et suppression des fichiers orphelins

• Réécriture des manifestes et contrôle de la croissance des métadonnées

• Impact des petits fichiers sur les temps de planification et de requête

• Travaux pratiques (fil rouge, étape 6) : opérations de maintenance sur une table Iceberg

Optimisation des performances

• Optimisation des requêtes Trino : pruning, prédicats, lecture des plans

• Module CBO (Cost-Based Optimizer) : principes, estimation des coûts et des cardinalités, réordonnancement des

jointures et choix de leur distribution

• Statistiques utilisées par le CBO : consultation avec SHOW STATS, collecte et mise à jour avec ANALYZE,

conséquences de statistiques absentes ou obsolètes.

• Organisation des données Iceberg : partitionnement, tri, impact sur les performances

• Réglages des composants

• Travaux pratiques (fil rouge, étape 7) : optimisation de requêtes et réorganisation d'une table lourde

Observabilité

• Logs Trino et interface d'administration Trino

• Métriques utiles et corrélation ressources (CPU, mémoire, I/O) / requêtes / catalogue

• Mention des outils d'instrumentation : JMX, Prometheus, Grafana (survol, sans module dédié)

Diagnostic d'exploitation Trino/Iceberg

• Cas concrets : requête lente, requête tuée pour dépassement mémoire, worker indisponible, erreurs de connecteur/catalogue, problème d'accès au stockage objet, croissance excessive des métadonnées, trop nombreux petits fichiers, snapshots non expirés, fichiers orphelins, partitionnement inefficace, incompatibilité après modification de schéma, erreurs d'authentification

• Corrélation entre symptômes, configuration et ressources

• Travaux pratiques (fil rouge, étape 8) : résolution de cas concrets d'exploitation

Synthèse et interconnexion Spark

• Lecture et écriture des tables Iceberg par plusieurs moteurs

• Articulation Trino (requêtage analytique) et Spark (traitements batch/ETL)

• Importance du catalogue partagé, compatibilité de versions, précautions sur les opérations concurrentes

• Bonnes pratiques d'exploitation d'une plateforme Trino/Iceberg

Informations

Durée

3 jour(s)

21h

Tarif

Sur demande

Formations similaires

IA & Data

Migration vers le Cloud

2 jour(s)

Sur demande

IA & Data

Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé

3 jour(s)

Sur demande

IA & Data

AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant

1 jour(s)

Sur demande

IA & Data

Analyse bayésienne (4-107)

3 jour(s)

Sur demande