IA & Data

Fine-tuning de LLM — Adapter un modèle à vos données métier - Avancé

3 jour(s) • 21h

Description

Maîtriser les techniques avancées de spécialisation des grands modèles de langage open-source afin d’adapter un LLM à un domaine métier spécifique. La formation permet de construire un pipeline complet de fine-tuning incluant la sélection du modèle, la préparation des données, l’entraînement avec les méthodes PEFT (LoRA, QLoRA), l’évaluation des performances et le déploiement d’un modèle spécialisé.

Objectifs pédagogiques

Comprendre les architectures et limites des principaux LLM open-source
Choisir une stratégie d’adaptation adaptée à un cas d’usage métier
Préparer un dataset d’entraînement pour un LLM spécialisé
Mettre en œuvre un fine-tuning avec Hugging Face Transformers et PEFT
Utiliser les techniques LoRA et QLoRA pour optimiser l’entraînement
Évaluer les performances d’un modèle fine-tuné
Déployer un modèle spécialisé dans un environnement applicatif

Public concerné

Data Scientists

Machine Learning Engineers

NLP Engineers

AI Engineers

Architectes Data / IA

Développeurs spécialisés en IA générative

Prérequis

Bonne maîtrise de Python

Connaissances en machine learning et deep learning

Expérience avec les architectures Transformers

Familiarité avec l’écosystème Hugging Face

Déroulé du programme

Partie 1 - Panorama des LLM open-source et choix d'une stratégie d'adaptation (Jour 1- 3h30)

Panorama des familles de modèles open-source : Mistral, Llama 3, Phi-4 — capacités, contraintes matérielles et cas d'usage entreprise
Limites des LLM généralistes : hallucinations, manque de connaissances métier, enjeux de confidentialité
Stratégies d'adaptation comparées : prompt engineering avancé, RAG, fine-tuning, RLHF — critères de décision selon le cas d'usage
Quand le fine-tuning est justifié — et quand il ne l'est pas
Activité pratique :

Analyse d'un cas d'usage métier réel (assistant expert sur une base documentaire d'entreprise). Choix argumenté d'une stratégie d'adaptation et définition de l'architecture cible. Première étape du projet fil rouge.

Partie 2- Préparation et structuration d'un dataset pour fine-tuning (Jour 1- 3h30)

Types de datasets pour spécialiser un LLM : instruction tuning, question/réponse métier, conversation spécialisée
Structuration des données : format instruction/input/output, nettoyage, normalisation, équilibrage
Génération synthétique de données avec un LLM : constituer un dataset instruction-tuning quand les données réelles sont insuffisantes
Outils Hugging Face : datasets, tokenisation, validation
Critères de qualité d'un dataset : diversité, cohérence, représentativité métier
Activité pratique :

Transformation d'un corpus métier (documentation, FAQ ou support technique) en dataset instruction-tuning. Expérimentation de génération synthétique pour enrichir le dataset. Suite du projet fil rouge.

Partie 3- Techniques avancées de fine-tuning (Jour 2- 3h30)

Principes du fine-tuning : full fine-tuning vs fine-tuning efficient, contraintes GPU et mémoire
Techniques PEFT : LoRA, QLoRA, prefix-tuning — fonctionnement, différences et critères de choix
Catastrophic forgetting : comprendre le risque de perte des capacités générales lors de la spécialisation, stratégies pour le limiter
Architecture d'un pipeline de fine-tuning : dataset, modèle de base, hyperparamètres clés
Activité pratique :

Chargement d'un modèle open-source (Mistral 7B) et préparation du pipeline d'entraînement. Configuration des paramètres LoRA/QLoRA et des hyperparamètres. Suite du projet fil rouge.

Partie 4- Entraînement avec Hugging Face Transformers et PEFT (Jour 2- 3h30)

Mise en place de l'environnement : Transformers, PEFT, Accelerate
Lancement et monitoring de l'entraînement : checkpoints, suivi des métriques, gestion des erreurs
Optimisation : choix des hyperparamètres, gestion mémoire GPU, stabilité de l'entraînement
Merge des adaptateurs LoRA dans le modèle de base : étape indispensable avant tout déploiement
Activité pratique :

Entraînement de Mistral 7B sur le dataset métier construit en Jour 1. Merge des poids LoRA dans le modèle complet. Analyse des premières sorties. Étape centrale du projet fil rouge.

Partie 5- Évaluation et benchmarking d'un modèle fine-tuné (Jour 3- 3h30)

Méthodes d'évaluation automatique : perplexité, métriques NLP, tests par prompts
Évaluation humaine métier : construire une grille de notation pour mesurer la pertinence sur des cas réels, indépendamment des métriques automatiques
Protocole de comparaison modèle de base vs modèle fine-tuné sur un corpus de référence
Analyse des hallucinations résiduelles et détection du catastrophic forgetting
Itérations d'amélioration : ajustement du dataset, des hyperparamètres, des paramètres LoRA
Activité pratique :

Création d'un jeu de prompts métier. Comparaison structurée des réponses entre modèle initial et modèle fine-tuné via grille d'évaluation humaine et métriques automatiques. Suite du projet fil rouge.

Partie 6- Déploiement et exploitation d'un modèle spécialisé (Jour 3- 3h30)

Optimisation pour l'inférence : quantification, réduction de la latence, gestion des ressources GPU
Outils de déploiement : vLLM pour la performance en production, Text Generation Inference (TGI) pour les environnements managés, Ollama pour le déploiement local
Critères de choix entre ces trois options selon le contexte d'infrastructure
Intégration dans un système applicatif : exposition API, monitoring, gestion des versions de modèle
Activité pratique :