Retour aux formations
IA & Data
NLP avec les Transformers – De BERT à GPT : Comprendre et appliquer
3 jour(s) • 21h
Description
Maîtriser les modèles Transformers pour les tâches NLP classiques et savoir les adapter à des données métier dans un contexte professionnel.
Objectifs pédagogiques
- Comprendre l’architecture des modèles Transformers
- Manipuler les modèles BERT et dérivés pour des tâches NLP
- Utiliser les modèles GPT pour la génération de texte
- Exploiter la librairie Hugging Face Transformers
- Réaliser un fine-tuning sur des données métier
- Évaluer les performances des modèles NLP
- Déployer un modèle NLP adapté à un cas d’usage réel
Public concerné
Data scientists
ML engineers
ingénieurs IA
développeurs spécialisés en data ou intelligence artificielle
Prérequis
Bonne maîtrise de Python
Connaissances en machine learning (supervisé)
Bases en NLP (tokenisation, embeddings)
Notions sur les réseaux de neurones (deep learning)
Déroulé du programme
1
JOUR 1- Module 1 – Introduction aux Transformers et architecture (3h)
3h
- Limites des modèles NLP classiques (RNN, LSTM)
- Principe de l’attention et self-attention
- Architecture Transformer : encodeur / décodeur
- Mécanisme de multi-head attention
- Embeddings positionnels et pipeline global
- Activité pratique : Étude guidée de l’architecture Transformer
2
Analyse d’un schéma complet et identification des composants clés
3
Implémentation simplifiée d’un bloc d’attention en Python
4
JOUR 1- Module 2 – Écosystème Hugging Face et premiers modèles (4h)
4h
- Présentation de Hugging Face Transformers et Hub
- Chargement de modèles pré-entraînés
- Tokenizers et pipelines NLP
- Inférence avec modèles prêts à l’emploi
- Activité pratique : Premiers tests avec Hugging Face
5
Utilisation de pipelines pour classification et génération
6
Comparaison de plusieurs modèles sur un même dataset
7
JOUR 2- Module 3 – BERT, RoBERTa, DistilBERT : principes et cas d’usage (3h)
3h
- Fonctionnement de BERT (masked language model)
- Différences entre BERT, RoBERTa et DistilBERT
- Cas d’usage : classification, NER, question answering
- Choix du modèle selon contraintes (performance, coût)
- Activité pratique : Exploration comparative de modèles
8
Test de BERT vs DistilBERT sur une tâche de classification
9
Analyse des performances et du temps d’inférence
10
JOUR 2- Module 4 – Fine-tuning de BERT sur données métier (4h)
4h
- Préparation des données (tokenisation, formatting)
- Fine-tuning avec Trainer API
- Gestion des hyperparamètres
- Gestion des datasets déséquilibrés
- Activité pratique : Classification de documents métier avec BERT
11
Fine-tuning d’un modèle BERT sur un dataset métier
12
Analyse des résultats et amélioration des performances
13
JOUR 3- Module 5 – Modèles génératifs : GPT et applications (3h)
3h
- Architecture GPT (modèle auto-régressif)
- Différences BERT vs GPT (encodeur vs génératif)
- Cas d’usage : génération de texte, résumé, chatbot
- Prompt engineering (bases)
- Activité pratique : Génération de texte avec GPT
14
Création de prompts pour différents cas métiers
15
Ajustement des paramètres (temperature, max tokens)
16
JOUR 3- Module 6 – Évaluation et industrialisation des modèles NLP (4h)
4h
- Métriques NLP : F1, précision, rappel
- Métriques génération : BLEU, ROUGE, perplexité
- Validation des modèles et biais
- Bonnes pratiques de déploiement (API, batch, monitoring)
- Activité pratique : Évaluation complète d’un modèle NLP
17
Calcul des métriques sur modèle fine-tuné
18
Interprétation des résultats et axes d’amélioration
Informations
Durée
3 jour(s)
21h
Tarif
Sur demande
Formations similaires
IA & Data
Migration vers le Cloud
2 jour(s)
Sur demande
IA & Data
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
3 jour(s)
Sur demande
IA & Data
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
1 jour(s)
Sur demande
IA & Data
Analyse bayésienne (4-107)
3 jour(s)
Sur demande